发布时间：
英文论文参考文献示例
无论在学习或是工作中，大家肯定对论文都不陌生吧，通过论文写作可以提高我们综合运用所学知识的能力。你写论文时总是无从下笔？以下是我收集整理的英文论文参考文献示例，供大家参考借鉴，希望可以帮助到有需要的朋友。
英语论文参考文献格式范本
用Times New Roman。每一条目顶格,如某一条目超过一行，从第二行起“悬挂缩进”2字符。参考文献中所有标点与符号均在英文状态下输入，标点符号后空一格。
参考文献条目排列顺序：英文文献、中文文献、网络文献。分别按作者姓氏字母顺序排列。文献前不用序号。
1)英文参考文献
(1)专著与编著
排列顺序为：作者姓、名、专著名、出版地、出版社、出版年。
例如：
Brinkley, Alan. The Unfinished Nation. New York: Knopf, 1993.
专著名中如果还包含其他著作或作品名，后者用斜体。
例如：
Dunn, Richard J ed. Charlotte Bront: Jane Eyre. New York: Norton, 1971.
A.两个至三个作者
第一作者的姓在前，名在后，中间用逗号隔开;其余作者名在前，姓在后，中间无逗号;每个作者之间用逗号隔开，最后一个作者的姓名前用“and”，后用句号。
例如：
Rowe, Richard, and Larry Jeffus. The Essential Welder: Gas Metal Arc Welding Classroom Manual. Albany: Delmar, 2000.
B. 三个以上作者
第一作者姓名(姓在前，名在后，中间加逗号)后接“et al.”，其他作者姓名省略。
例如：
Randall, John et al. Fishes of the Great Barrier Reef and Coral Sea. Honolulu: University of Hawaii Press, 1997.
C. 同一作者同一年出版的不同文献，参照下例：
Widdowson, Henry G. EIL: Squaring the Circles. A Reply. London: Lomgman, 1998a.
Widdowson, Henry G. Communication and Community. Cambridge: Cambridge University Press, 1998b.
(2)论文集
参照下例：
Thompson, Pett. “Modal Verbs in Academic Writing”. In Ben Kettlemann & Marko, Henry ed. Teaching and Learning by Doing Corpus Analysis. New York: Rodopi, 2002: 305-323.
(3)百科全书等参考文献
参照下例：
Fagan, Jeffrey. “Gangs and Drugs”. Encyclopedia of Drugs, Alcohol and Addictive Behavior. New York: Macmillan, 2001.
(4)学术期刊论文
参照下例：
Murphy, Karen. “Meaningful Connections: Using Technology in Primary Classrooms”. Young Children. 2003, (6): 12-18.
(5)网络文献
参照下例：
----“Everything You Ever Wanted to Know About URL” .
2)中文参考文献
(1)专著
参照下例：
皮亚杰.结构主义[M].北京：商务印书馆，1984.
(2)期刊文章
参照下例：
杨忠，张韶杰.认知语音学中的类典型论[J].外语教学与研究，1999，(2)：1-3.
(3)学位论文
参照下例：
梁佳.大学英语四、六级测试试题现状的理论分析与问题研究[D].湖南大学，2002.
(4)论文集
参照下例：
许小纯.含义和话语结构[A].李红儒.外国语言与文学研究[C].哈尔滨：黑龙江人民出版社，1999：5-7.
(5)附录本
翻译学论文参考文献范例
参考文献：
奥马利 第二语言习得的学习策略上海：上海外语出版社，2001
陈保亚 20 世纪中国语言学方法论 济南：山东教育出版社，1999
丁言仁 英语语言学纲要 上海：上海外语出版社，2001
费尔迪南 德 索绪尔 普通语言学教程 长沙：湖南教育出版社，2001
冯翠华 英语修辞大全 北京：商务印书馆，1996
桂诗春，宁春言主编 语言学方法论 北京：外语教学与研究出版社，1998
桂诗春 应用语言学长沙：湖南教育出版社，1998
何兆熊 新编语用学概要 上海：上海外语教育出版社，2000
何自然 语用学与英语学习 上海：上海外语教育出版社，1997
侯维瑞 英语语体 上海：上海外语教育出版社，1988
胡壮麟 语言学教程(修订版)北京：北京大学出版社，2001
黄国文 语篇与语言的功能 北京：外语教学与研究出版社，2002
黄国文 语篇分析概要长沙：湖南教育出版社，1988
李延富主编 英语语言学基本读本 济南：山东大学出版社，1999
李运兴 语篇翻译引论 北京：中国对外翻译出版公司，2000
刘润清 西方语言学流派北京：外语教学与研究出版社，1999
刘润清等 现代语言学名著选读(上下册)北京：测绘出版社，1988
刘润清等 语言学入门 北京：人民教育出版社，1990
陆国强 现代英语词汇学(新版)上海：上海外语教育出版社，1999
拓展内容：
书写格式
1.参考文献标注的位置
2. 参考文献标标注方法和规则
3. 参考文献标标注的格式
2007年8月20日在清华大学召开的“综合性人文社会科学学术期刊编排规范研讨会”决定，2008年起开始部分刊物开始执行新的规范“综合性期刊文献引证技术规范”。该技术规范概括了文献引证的“注释”体例和“著者—出版年”体例。不再使用“参考文献”的说法。这两类文献著录或引证规范在中国影响较大，后者主要在层次较高的人文社会科学学术期刊中得到了应用。
⑴文后参考文献的著录规则为GB/T 7714-2005《文后参考文献著录规则》，适用于“著者和编辑编录的文后参考文献，而不能作为图书馆员、文献目录编制者以及索引编辑者使用的文献著录规则”。
⑵顺序编码制的具体编排方式。参考文献按照其在正文中出现的先后以阿拉伯数字连续编码，序号置于方括号内。一种文献被反复引用者，在正文中用同一序号标示。一般来说，引用一次的文献的页码（或页码范围）在文后参考文献中列出。格式为著作的“出版年”或期刊的“年，卷（期）”等+“：页码（或页码范围）.”。多次引用的文献，每处的页码或页码范围（有的刊物也将能指示引用文献位置的信息视为页码）分别列于每处参考文献的序号标注处，置于方括号后（仅列数字，不加“p”或“页”等前后文字、字符；页码范围中间的连线为半字线）并作上标。作为正文出现的参考文献序号后需加页码或页码范围的，该页码或页码范围也要作上标。作者和编辑需要仔细核对顺序编码制下的参考文献序号，做到序号与其所指示的文献同文后参考文献列表一致。另外，参考文献页码或页码范围也要准确无误。
⑶参考文献类型及文献类型，根据GB3469-83《文献类型与文献载体代码》规定，以单字母方式标识：
专著M ； 报纸N ；期刊J ；专利文献P；汇编G ；古籍O；技术标准S ；
学位论文D ；科技报告R；参考工具K ；检索工具W；档案B ；录音带A ；
图表Q；唱片L；产品样本X；录相带V；会议录C；中译文T；
乐谱I； 电影片Y；手稿H；微缩胶卷U ；幻灯片Z；微缩平片F；其他E。
书写技巧
把光标放在引用参考文献的地方，在菜单栏上选“插入|脚注和尾注”，弹出的对话框中选择“尾注”，点击“选项”按钮修改编号格式为阿拉伯数字，位置为“文档结尾”，确定后Word就在光标的地方插入了参考文献的`编号，并自动跳到文档尾部相应编号处请你键入参考文献的说明，在这里按参考文献著录表的格式添加相应文献。参考文献标注要求用中括号把编号括起来，以word2007为例，可以在插入尾注时先把光标移至需要插入尾注的地方，然后点击 引用-脚注下面的一个小箭头，在出现的对话框中有个自定义，然后输入中括号及数字，然后点插入，然后自动跳转到本节/本文档末端，此时再输入参考文献内容即可。
在文档中需要多次引用同一文献时，在第一次引用此文献时需要制作尾注，再次引用此文献时点“插入|交叉引用”，“引用类型”选“尾注”，引用内容为“尾注编号（带格式）”，然后选择相应的文献，插入即可。
不要以为已经搞定了，我们离成功还差一步。论文格式要求参考文献在正文之后，参考文献后还有发表论文情况说明、附录和致谢，而Word的尾注要么在文档的结尾，要么在“节”的结尾，这两种都不符合我们的要求。解决的方法似乎有点笨拙。首先删除尾注文本中所有的编号（我们不需要它，因为它的格式不对），然后选中所有尾注文本（参考文献说明文本），点“插入|书签”，命名为“参考文献文本”，添加到书签中。这样就把所有的参考文献文本做成了书签。在正文后新建一页，标题为“参考文献”，并设置好格式。光标移到标题下，选“插入|交叉引用”，“引用类型”为“书签”，点“参考文献文本”后插入，这样就把参考文献文本复制了一份。选中刚刚插入的文本，按格式要求修改字体字号等，并用项目编号进行自动编号。
打印文档时，尾注页同样会打印出来，而这几页是我们不需要的。当然，可以通过设置打印页码范围的方法不打印最后几页。这里有另外一种方法，如果你想多学一点东西，请接着往下看。
选中所有的尾注文本，点“格式|字体”，改为“隐藏文字”，切换到普通视图，选择“视图|脚注”，此时所有的尾注出现于窗口的下端，在“尾注”下拉列表框中选择“尾注分割符”，将默认的横线删除。同样的方法删除“尾注延续分割符”和“尾注延续标记”。删除页眉和页脚（包括分隔线），选择“视图|页眉和页脚”，首先删除文字，然后点击页眉页脚工具栏的“页面设置”按钮，在弹出的对话框上点“边框”，在“页面边框”选项卡，边框设置为“无”，应用范围为“本节”；“边框”选项卡的边框设置为“无”，应用范围为“段落”。切换到“页脚”，删除页码。选择“工具|选项”，在“打印”选项卡里确认不打印隐藏文字（Word默认）。
注：以上在word中的处理是比较常用的做法，不过作者需要了解，投稿稿件是word格式或pdf格式或wps格式，但是很多期刊是用方正排版系统排版的，二者不“兼容”。因此，作者的word投稿只是编辑部排版的原稿，排版问题作者无需太过担心；而作者如想要编辑部出刊前最后的电子稿（有些作者着急要清样或已经排版的电子稿）其实也没有太大意义，因为没有方正的软件就无法打开这个电子稿。
顶级问题。学术，要学，有术。这个学，用中文跟用英文不是一回事儿！中文能看到的与英文能看到的不等。既然是术，学术，就要有一定的水平。看不到就不知道水平！另外在几乎所有专业，除非是古汉语，英文中文的还有个水平问题。要玩儿外国先进科学技术，那就是中文里面根本就没有的，否则就是中国先进科学技术了，不是外国的。因此，做学问，要直接用英文来做，特别是外国先进科学技术的学问。这时候，只能查英文资料，中文的，没有啊。其他的自己可以考虑了。
是这样的，不同的学院有不同的要求。我将我们院的陈述一下，给楼主一个参考。写英语论文不可能只遇到英语参考文献对不对，还有很多中国人自己发表的研究性论文啊什么的都可以作为文献来参考。我们要求参考文献在30个以上，其中外文文献（就是非中文的文献，从出版社到作者都是外国的那种）不能低于一半就是15个。然后这个论文引用是有格式要求的。具体来说，就是：1，专著类：作者. 书名[M]. 出版社所在地：出版社名称，该书出版时间：页码.,2，期刊类：作者. 文章标题[J]. 文章发表的期刊名，文章发表的年（第几期）：页码（起止页码）.参考文献是要另起一页写的。才答辩完，希望能够帮到楼主~！
英文论文参考文献也必须是英文吗1.答案是肯定的,论文中各个部分都应当是流通语言写作。 英文论文写作中,可以引用英文文献,也可以引用中文文献,但是需要注意的是,中文文献不能直接拿来引用,需要区分不同情况来处理,如果所引用的中文文献有英文题目以及摘要,就可以拿来直接用在参考文献部分,如果没有英文题目和摘要,需要作者自己译成英文。2.另外还需要注意的是,作者将标题和摘要译成英文后,务必要按照所投刊物要求的规范方法来引用,尤其是格式要求,对于这类中文文献,作者最好在文献后方加以标注,一般
是的。
Vol. 是Volume的缩写，对应中文的意思是“卷“。
在论文参考文献中，NO.或者Iss是Issue的缩写，对应中文的意思是“期”。
而在论文参考文献中，P. 是Page的缩写，对应中文的意思是”页”。
期的形式还可以表示成“No.”
页的形式还可以表示成“PP.”
卷的意思是指本期刊自创刊以来已经多少年了，17卷即表示今年是创刊以来的第17年。
期的意思是指本册期刊是该期刊本年度的第几册，1期即表示本册期刊是该期刊的第1册。
需要注意的是全年连续编页码的刊物可省去（期）。
扩展资料：
当在论文中首次引用一本著作的资料时，注释中须将该书的作者姓名、书名、出版地、出版者、出版年代及资料所在页码顺序注明。
作者姓名按通常顺序排列，后面加逗号。书名用斜体，手稿中可在书名下用横线标出。书名后紧接圆括号，括号内注出版地，加冒号，后接出版者名称，再加逗号，然后注出版年代。
括号后面加逗号，再注出引用资料所在的页码，页码后加句号表示注释完毕。单页页码用“ p.” 表示。多页页码用“ pp.” 表示，意为 pages。
参考资料：百度百科-参考文献
1 单词缩写应省略在辅音之后,元音之前。英文单词缩写一般以辅音结尾,而不以元音结尾.如 American 省略为 Am,而不省略为 Ame 或 Amer ,Medicine 或 Medical 缩写为 Med,European 缩写为 Eur 等.但 Science 例外,缩写为 Sci,可能是因为元音 I 之后又是元音 E 的缘故.缩写刊名每个词首字母必须大写,而不可全部都用大写或小写 。2 压缩字母法仅个别单词采用压缩字母方式缩写,如 Japanese 缩写为 Jpn 而不是 Jan,National 应缩写为 Natl 而不是 Nat 等.经常有读者将 Japanese 写成 Jan 是参考文献著录中常见的错误.如 Japanese Journal of Ophthalmology ,应缩写为 Jpn J Ophthalmol,National Cancer Institute Research Report 缩写为 Natl Cancer Inst Res Rep。而 Nat 是 Nature 和 Natural 的缩写,如 Nature Medicine,Nature biotechnology 分别缩写为 Nat Med,Nat Biotechnol.另外 CN 是中国的国别代码,期刊缩写刊名中,China，Chinese 不得缩写为 CN ,而应缩写为 Chin.采用压缩写法是为了避免与其他常用缩写混淆.如 Japanese 不能缩写为 Jan,可能是 Jan 是 January 的固定缩写形式,National 缩写为 Natl 而不缩写为 Nat,可能是 Nat 是 Nature 和 Natural 的缩写。3 学科名称缩写刊名中学科名称缩写很常见,因而了解学科名缩写规则非常必要.凡以 -ogy 结尾的单词,一律将词尾 -ogy 去掉,如 Cardiology 缩写为 Cariol ,Biology 缩写为 Biol,以 -ics 结尾的学科名词,缩写时将 -ics 或连同其前面若干字母略去.如 Physics,缩写为 Phys,以 -try 结尾的词,缩写时将 -try 连同前面若干字母略去.如 chemistry 缩写为 Chem,其中也包括其他形容词的缩写。4 刊名中常用词和特殊单词的缩写期刊名中有些常用单词可以缩写为一个字母,如Journal缩写为J,Quarterly缩写为Q,Royal缩写为R,New缩写为N,South缩写为S等。5 刊名首字母组合\x0d有些杂志名称缩写采用首字母组合,而且已被固定下来,一般都是国际上有较大影响的期刊,并得到国际上众多索引性检索工具的认同.如The Journal of American Medical Association缩写为JAMA,British Medical Journal缩写为BMJ等。6 国家名称的缩写刊名中国家名称的缩写分为两种情况.如国家名称为单个词汇,缩写时常略去词尾或词的后部分若干字母.如American缩写为Am,British缩写为Br,Chinese缩写为Chin等.而国家名称由多个词组组成时,常取每个词的首字母,如United States of America缩写为USA或US。7 虚词一律省略有许多虚词,如the,of,for,and,on,from,to等,在缩写时均省去。
名字的缩写，学位的缩写只有PhD，MD，BD等，英文文献好像是不标学位的。
对于英文参考文献,还应注意以下两点：
1、作者姓名采用“姓在前名在后”原则，具体格式是：姓，名字的首字母。
如：MalcolmRichardCowley为:Cowley,M.R.
如果有两位作者，第一位作者方式不变，之后第二位作者名字的首字母放在前面，姓放在后面。
如：FrankNorris与IrvingGordon应为:Norris,F.&I.Gordon.
2、书名、报刊名使用斜体字，如：MasteringEnglishLiterature，EnglishWeekly。
参考示例：
1、专著、论文集、学位论文、报告
[5] Gill,R. Mastering English Literature[M] . London: Macmillan,1985.
2、期刊文章
[8] Heider,E.R.& D.C.Oliver. The structure of color space in naming and memory of two languages [J]. Foreign Language Teaching and Research,1999⑶： 62-67.
3、论文集中的析出文献
[10] Spivak,G. "Can the Subaltern Speak?"[A]. In C.Nelson & L. Grossberg(eds.). Victory in Limbo: Imigism [C]. Urbana: University of Illinois Press,1988,pp.271-313.
4、报纸文章
[12] French,W. Between Silences: A Voice from China[N]. Atlantic Weekly,1987-8-15（33）.
扩展资料：
文献标注：
参考文献类型：专著[M]，论文集[C]，报纸文章[N]，期刊文章[J]，学位论文[D]，报告[R]，标准[S]，专利[P]，论文集中的析出文献[A]
电子文献类型：数据库[DB]，计算机[CP]，电子公告[EB]
电子文献的载体类型：互联网[OL]，光盘[CD]，磁带[MT]，磁盘[DK]
A. 专著、论文集、学位论文、报告
[序号]主要责任者.文献题名[文献类型标识].出版地：出版者，出版年.起止页码（可选）
[1]刘国钧，陈绍业.图书馆目录[M].北京：高等教育出版社，1957.15-18.
B. 期刊文章
[序号]主要责任者.文献题名[J].刊名，年，卷（期）：起止页码
[1]何龄修.读南明史[J].中国史研究，1998,(3):167-173.
[2]OU J P，SOONG T T，et al.Recent advance in research on applications of passive energy dissipation systems[J].Earthquack Eng,1997,38(3):358-361.
C. 论文集中的析出文献
[序号]析出文献主要责任者.析出文献题名[A].原文献主要责任者（可选）.原文献题名[C].出版地：出版者，出版年.起止页码
[7]钟文发.非线性规划在可燃毒物配置中的应用[A].赵炜.运筹学的理论与应用——中国运筹学会第五届大会论文集[C].西安：西安电子科技大学出版社，1996.468.
D. 报纸文章
[序号]主要责任者.文献题名[N].报纸名，出版日期（版次）
[8]谢希德.创造学习的新思路[N].人民日报，1998-12-25（10）.
E. 电子文献
[文献类型/载体类型标识]：[J/OL]网上期刊、[EB/OL]网上电子公告、
[M/CD]光盘图书、[DB/OL]网上数据库、[DB/MT]磁带数据库
[序号]主要责任者.电子文献题名[电子文献及载体类型标识].电子文献的出版或获得地址，发表更新日期/引用日期
[12]王明亮.关于中国学术期刊标准化数据库系统工程的进展[EB/OL].
[8]万锦.中国大学学报文摘（1983-1993）.英文版[DB/CD].北京：中国大百科全书出版社，1996.
参考资料来源：百度百科-参考文献
academic journal。
一种经过同行评审的期刊，发表在学术期刊上的文章通常涉及特定的学科。学术期刊展示了研究领域的成果，并起到了公示的作用，其内容主要以原创研究、综述文章、书评等形式的文章为主。
为严格学术期刊出版资质，优化学术期刊出版环境，促进学术期刊健康发展，根据新闻出版广电总局《关于规范学术期刊出版秩序 促进学术期刊健康发展的通知》《关于开展学术期刊认定及清理工作的通知》。
总局组织开展了学术期刊认定工作。经过各省、区、市新闻出版广电局，中央期刊主管单位初审上报，总局组织有关专家严格审定，确定了第一批认定学术期刊名单，现予以公示。
参考文献中，M、J、N是参考文献类型标识，分别代表专著、期刊、报纸。
专著[M]，英文为monograph，根据学术论文的长短，又可以分为单篇学术论文、系列学术论文和学术专著三种。一般而言，超过4-5万字的，可以称为学术专著。
报纸[N]，英文为newspaperarticle，以刊载新闻和时事评论为主的定期向公众发行的印刷出版物或电子类出版物。是大众传播的重要载体，具有反映和引导社会舆论的功能。
期刊[J]，英文为journal，定期出版的刊物，如周刊、旬刊、月刊、季刊、年刊等。期刊出版单位出版期刊，必须经新闻出版总署批准，持有国内统一连续出版物号，领取《期刊出版许可证》。
扩展资料
主要文后参考文献著录格式
1、专著[M]、论文集[C]、学位论文[D]、学术报告[R]著录法
[序号]主要作者名.著作题名[文献类型标识].出版地:出版者,出版年.版次.页码.
(未出版的学位论文的出版者著录为：学位培养单位院系)
2、古籍著录法
[序号][朝代]作者名.书名.篇名.出版朝代年号(公历年历).版本.页码.
3、期刊文章[J]著录法
[序号]主要作者名.文章题名[文献类型标识].期刊名.出版年.卷(期):页码.
4、论文集、会议录[C]中析出文献著录法
[序号]主要作者名.析出文献题名[文献类型标识].论文集作者.论文集名[文献类型标识].出版地:出版者,出版年.页码.
5、报纸文章[N]著录法
[序号]主要作者名.文章名[文献类型标识].报纸名,出版日期(版次).页码.
6、电子文献著录法
[序号]主要作者名.电子文献题名[文献类型标识].电子文献出处或可获得地址,发表或更新日期/引用日期.
《读写算》教育教学研究，国家新闻出版总署检测的是《读写算》，邮发代号，可以在中国邮政报刊订阅网查到。在中国知网上，查不到。所以，真假各半，楼主可以把此刊当成副刊或增刊对待。
专著［M］
[序号]主要责任者.文献题名[文献类型标识].出版地：出版者，出版年.起止页码（可选）
例如：刘国钧，陈绍业.图书馆目录[M].北京：高等教育出版社，1957.15-18.
期刊文章［J］
[序号]主要责任者.文献题名[J].刊名，年，卷（期）：起止页码
例如：何龄修.读南明史[J].中国史研究，1998,(3):167-173.
报纸文章［N］
[序号]主要责任者.文献题名[N].报纸名，出版日期（版次）
例如：谢希德.创造学习的新思路[N].人民日报，1998-12-25（10）
扩展资料
按照GB/T 7714-2015《信息与文献 参考文献著录规则》”的定义，文后参考文献是指：“为撰写或编辑论文和著作而引用的有关文献信息资源。
根据《中国学术期刊（光盘版）检索与评价数据规范（试行）》和《中国高等学校社会科学学报编排规范（修订版）》的要求，很多刊物对参考文献和注释作出区分，将注释规定为“对正文中某一内容作进一步解释或补充说明的文字”，列于文末并与参考文献分列或置于当页脚地。
参考资料来源：百度百科-参考文献
近年来， 深度学习 的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点。Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN模型上使用了attention机制来进行图像分类。随后，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近，如何在CNN中使用attention机制也成为了大家的研究热点。在介绍NLP中的Attention之前，我想大致说一下图像中使用attention的思想。就具代表性的这篇论文《Recurrent Models of Visual Attention》 [14]，他们研究的动机其实也是受到人类注意力机制的启发。人们在进行观察图像的时候，其实并不是一次就把整幅图像的每个位置像素都看过，大多是根据需求将注意力集中到图像的特定部分。而且人类会根据之前观察的图像学习到未来要观察图像注意力应该集中的位置。下图是这篇论文的核心模型示意图。 该模型是在传统的RNN上加入了attention机制（即红圈圈出来的部分），通过attention去学习一幅图像要处理的部分，每次当前状态，都会根据前一个状态学习得到的要关注的位置 l 和当前输入的图像，去处理注意力部分像素，而不是图像的全部像素。这样的好处就是更少的像素需要处理，减少了任务的复杂度。可以看到图像中应用attention和人类的注意力机制是很类似的，接下来我们看看在NLP中使用的attention。这篇论文算是在NLP中第一个使用attention机制的工作。他们把attention机制用到了神经网络机器翻译（NMT）上，NMT其实就是一个典型的sequence to sequence模型，也就是一个encoder to decoder模型，传统的NMT使用两个RNN，一个RNN对源语言进行编码，将源语言编码到一个固定维度的中间向量，然后在使用一个RNN进行解码翻译到目标语言，传统的模型如下图： 这篇论文提出了基于attention机制的NMT，模型大致如下图： 图中我并没有把解码器中的所有连线画玩，只画了前两个词，后面的词其实都一样。可以看到基于attention的NMT在传统的基础上，它把源语言端的每个词学到的表达（传统的只有最后一个词后学到的表达）和当前要预测翻译的词联系了起来，这样的联系就是通过他们设计的attention进行的，在模型训练好后，根据attention矩阵，我们就可以得到源语言和目标语言的对齐矩阵了。具体论文的attention设计部分如下： 可以看到他们是使用一个感知机公式来将目标语言和源语言的每个词联系了起来，然后通过soft函数将其归一化得到一个概率分布，就是attention矩阵。 从结果来看相比传统的NMT（RNNsearch是attention NMT，RNNenc是传统NMT）效果提升了不少，最大的特点还在于它可以可视化对齐，并且在长句的处理上更有优势。这篇论文是继上一篇论文后，一篇很具代表性的论文，他们的工作告诉了大家attention在RNN中可以如何进行扩展，这篇论文对后续各种基于attention的模型在NLP应用起到了很大的促进作用。在论文中他们提出了两种attention机制，一种是全局（global）机制，一种是局部（local）机制。首先我们来看看global机制的attention，其实这和上一篇论文提出的attention的思路是一样的，它都是对源语言对所有词进行处理，不同的是在计算attention矩阵值的时候，他提出了几种简单的扩展版本。 在他们最后的实验中general的计算方法效果是最好的。我们再来看一下他们提出的local版本。主要思路是为了减少attention计算时的耗费，作者在计算attention时并不是去考虑源语言端的所有词，而是根据一个预测函数，先预测当前解码时要对齐的源语言端的位置Pt，然后通过上下文窗口，仅考虑窗口内的词。 里面给出了两种预测方法，local-m和local-p，再计算最后的attention矩阵时，在原来的基础上去乘了一个pt位置相关的高斯分布。作者的实验结果是局部的比全局的attention效果好。这篇论文最大的贡献我觉得是首先告诉了我们可以如何扩展attention的计算方式，还有就是局部的attention方法。 随后基于Attention的RNN模型开始在NLP中广泛应用，不仅仅是序列到序列模型，各种分类问题都可以使用这样的模型。那么在深度学习中与RNN同样流行的卷积神经网络CNN是否也可以使用attention机制呢？《ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs》 [13]这篇论文就提出了3中在CNN中使用attention的方法，是attention在CNN中较早的探索性工作 传统的CNN在构建句对模型时如上图，通过每个单通道处理一个句子，然后学习句子表达，最后一起输入到分类器中。这样的模型在输入分类器前句对间是没有相互联系的，作者们就想通过设计attention机制将不同cnn通道的句对联系起来。 第一种方法ABCNN0-1是在卷积前进行attention，通过attention矩阵计算出相应句对的attention feature map，然后连同原来的feature map一起输入到卷积层。具体的计算方法如下。 第二种方法ABCNN-2是在池化时进行attention，通过attention对卷积后的表达重新加权，然后再进行池化，原理如下图。 第三种就是把前两种方法一起用到CNN中，如下图这篇论文提供了我们在CNN中使用attention的思路。现在也有不少使用基于attention的CNN工作，并取得了不错的效果。 最后进行一下总结。Attention在NLP中其实我觉得可以看成是一种自动加权，它可以把两个你想要联系起来的不同模块，通过加权的形式进行联系。目前主流的计算公式有以下几种： 通过设计一个函数将目标模块mt和源模块ms联系起来，然后通过一个soft函数将其归一化得到概率分布。目前Attention在NLP中已经有广泛的应用。它有一个很大的优点就是可以可视化attention矩阵来告诉大家神经网络在进行任务时关注了哪些部分。 不过在NLP中的attention机制和人类的attention机制还是有所区别，它基本还是需要计算所有要处理的对象，并额外用一个矩阵去存储其权重，其实增加了开销。而不是像人类一样可以忽略不想关注的部分，只去处理关注的部分。
推荐下NLP领域内最重要的8篇论文吧（依据学术范标准评价体系得出的8篇名单）： 一、Deep contextualized word representations 摘要：We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy). Our word vectors are learned functions of the internal states of a deep bidirectional language model (biLM), which is pre-trained on a large text corpus. We show that these representations can be easily added to existing models and significantly improve the state of the art across six challenging NLP problems, including question answering, textual entailment and sentiment analysis. We also present an analysis showing that exposing the deep internals of the pre-trained network is crucial, allowing downstream models to mix different types of semi-supervision signals. 全文链接： Deep contextualized word representations——学术范 二、Glove: Global Vectors for Word Representation 摘要：Recent methods for learning vector space representations of words have succeeded in capturing fine-grained semantic and syntactic regularities using vector arithmetic, but the origin of these regularities has remained opaque. We analyze and make explicit the model properties needed for such regularities to emerge in word vectors. The result is a new global logbilinear regression model that combines the advantages of the two major model families in the literature: global matrix factorization and local context window methods. Our model efficiently leverages statistical information by training only on the nonzero elements in a word-word cooccurrence matrix, rather than on the entire sparse matrix or on individual context windows in a large corpus. The model produces a vector space with meaningful substructure, as evidenced by its performance of 75% on a recent word analogy task. It also outperforms related models on similarity tasks and named entity recognition. 全文链接： Glove: Global Vectors for Word Representation——学术范 三、SQuAD: 100,000+ Questions for Machine Comprehension of Text 摘要：We present the Stanford Question Answering Dataset (SQuAD), a new reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles, where the answer to each question is a segment of text from the corresponding reading passage. We analyze the dataset to understand the types of reasoning required to answer the questions, leaning heavily on dependency and constituency trees. We build a strong logistic regression model, which achieves an F1 score of 51.0%, a significant improvement over a simple baseline (20%). However, human performance (86.8%) is much higher, indicating that the dataset presents a good challenge problem for future research. The dataset is freely available at this https URL 全文链接： SQuAD: 100,000+ Questions for Machine Comprehension of Text——学术范 四、GloVe: Global Vectors for Word Representation 摘要：Recent methods for learning vector space representations of words have succeeded in capturing fine-grained semantic and syntactic regularities using vector arithmetic, but the origin of these regularities has remained opaque. We analyze and make explicit the model properties needed for such regularities to emerge in word vectors. The result is a new global logbilinear regression model that combines the advantages of the two major model families in the literature: global matrix factorization and local context window methods. Our model efficiently leverages statistical information by training only on the nonzero elements in a word-word cooccurrence matrix, rather than on the entire sparse matrix or on individual context windows in a large corpus. The model produces a vector space with meaningful substructure, as evidenced by its performance of 75% on a recent word analogy task. It also outperforms related models on similarity tasks and named entity recognition. 全文链接： GloVe: Global Vectors for Word Representation——学术范 五、Sequence to Sequence Learning with Neural Networks 摘要：Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our method uses a multilayered Long Short-Term Memory (LSTM) to map the input sequence to a vector of a fixed dimensionality, and then another deep LSTM to decode the target sequence from the vector. Our main result is that on an English to French translation task from the WMT-14 dataset, the translations produced by the LSTM achieve a BLEU score of 34.8 on the entire test set, where the LSTM's BLEU score was penalized on out-of-vocabulary words. Additionally, the LSTM did not have difficulty on long sentences. For comparison, a phrase-based SMT system achieves a BLEU score of 33.3 on the same dataset. When we used the LSTM to rerank the 1000 hypotheses produced by the aforementioned SMT system, its BLEU score increases to 36.5, which is close to the previous state of the art. The LSTM also learned sensible phrase and sentence representations that are sensitive to word order and are relatively invariant to the active and the passive voice. Finally, we found that reversing the order of the words in all source sentences (but not target sentences) improved the LSTM's performance markedly, because doing so introduced many short term dependencies between the source and the target sentence which made the optimization problem easier. 全文链接： Sequence to Sequence Learning with Neural Networks——学术范 六、The Stanford CoreNLP Natural Language Processing Toolkit 摘要：We describe the design and use of the Stanford CoreNLP toolkit, an extensible pipeline that provides core natural language analysis. This toolkit is quite widely used, both in the research NLP community and also among commercial and government users of open source NLP technology. We suggest that this follows from a simple, approachable design, straightforward interfaces, the inclusion of robust and good quality analysis components, and not requiring use of a large amount of associated baggage. 全文链接： The Stanford CoreNLP Natural Language Processing Toolkit——学术范 七、Distributed Representations of Words and Phrases and their Compositionality 摘要：The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible. 全文链接： Distributed Representations of Words and Phrases and their Compositionality——学术范 八、Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank 摘要：Semantic word spaces have been very useful but cannot express the meaning of longer phrases in a principled way. Further progress towards understanding compositionality in tasks such as sentiment detection requires richer supervised training and evaluation resources and more powerful models of composition. To remedy this, we introduce a Sentiment Treebank. It includes fine grained sentiment labels for 215,154 phrases in the parse trees of 11,855 sentences and presents new challenges for sentiment compositionality. To address them, we introduce the Recursive Neural Tensor Network. When trained on the new treebank, this model outperforms all previous methods on several metrics. It pushes the state of the art in single sentence positive/negative classification from 80% up to 85.4%. The accuracy of predicting fine-grained sentiment labels for all phrases reaches 80.7%, an improvement of 9.7% over bag of features baselines. Lastly, it is the only model that can accurately capture the effects of negation and its scope at various tree levels for both positive and negative phrases. 全文链接： Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank——学术范 希望可以对大家有帮助， 学术范 是一个新上线的一站式学术讨论社区，在这里，有海量的计算机外文文献资源与研究领域最新信息、好用的文献阅读及管理工具，更有无数志同道合的同学以及学术科研工作者与你一起，展开热烈且高质量的学术讨论！快来加入我们吧！