twitter发表的nlp论文

量子位 出品 | 公众号 QbitAI

2018，仍是AI领域激动人心的一年。

这一年成为NLP研究的分水岭，各种突破接连不断；CV领域同样精彩纷呈，与四年前相比GAN生成的假脸逼真到让人不敢相信；新工具、新框架的出现，也让这个领域的明天特别让人期待……近日，Analytics Vidhya发布了一份2018人工智能技术总结与2019趋势预测报告，原文作者PRANAV DAR。量子位在保留这个报告架构的基础上，对内容进行了重新编辑和补充。这份报告总结和梳理了全年主要AI技术领域的重大进展，同时也给出了相关的资源地址，以便大家更好的使用、查询。报告共涉及了五个主要部分：

下面，我们就逐一来盘点和展望，嘿喂狗~

2018年在NLP 历史 上的特殊地位，已经毋庸置疑。

这份报告认为，这一年正是NLP的分水岭。2018年里，NLP领域的突破接连不断：ULMFiT、ELMo、最近大热的BERT……

迁移学习成了NLP进展的重要推动力。从一个预训练模型开始，不断去适应新的数据，带来了无尽的潜力，甚至有“NLP领域的ImageNet时代已经到来”一说。

正是这篇论文，打响了今年NLP迁移学习狂欢的第一枪。论文两名作者一是Fast.ai创始人Jeremy Howard，在迁移学习上经验丰富；一是自然语言处理方向的博士生Sebastian Ruder，他的NLP博客几乎所有同行都在读。两个人的专长综合起来，就有了ULMFiT。想要搞定一项NLP任务，不再需要从0开始训练模型，拿来ULMFiT，用少量数据微调一下，它就可以在新任务上实现更好的性能。

他们的方法，在六项文本分类任务上超越了之前最先进的模型。详细的说明可以读他们的论文：网站上放出了训练脚本、模型等：

这个名字，当然不是指《芝麻街》里那个角色，而是“语言模型的词嵌入”，出自艾伦人工智能研究院和华盛顿大学的论文Deep contextualized word representations，NLP顶会NAACL HLT 2018的优秀论文之一。

ELMo用语言模型（language model）来获取词嵌入，同时也把词语所处句、段的语境考虑进来。

这种语境化的词语表示，能够体现一个词在语法语义用法上的复杂特征，也能体现它在不同语境下如何变化。

当然，ELMo也在试验中展示出了强大功效。把ELMo用到已有的NLP模型上，能够带来各种任务上的性能提升。比如在机器问答数据集SQuAD上，用ELMo能让此前最厉害的模型成绩在提高4.7个百分点。

这里有ELMo的更多介绍和资源：

它由Google推出，全称是 B idirectional E ncoder R epresentations from T ransformers，意思是来自Transformer的双向编码器表示，也是一种预训练语言表示的方法。从性能上来看，没有哪个模型能与BERT一战。它在11项NLP任务上都取得了最顶尖成绩，到现在，SQuAD 2.0前10名只有一个不是BERT变体：

如果你还没有读过BERT的论文，真的应该在2018年结束前补完这一课：另外，Google官方开源了训练代码和预训练模型：如果你是PyTorch党，也不怕。这里还有官方推荐的PyTorch重实现和转换脚本：

BERT之后，NLP圈在2018年还能收获什么惊喜？答案是，一款新工具。

就在上周末，Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架，每天要为Facebook旗下各种应用处理超过10亿次NLP任务，是一个工业级的工具包。

（Facebook开源新NLP框架：简化部署流程，大规模应用也OK）

PyText基于PyTorch，能够加速从研究到应用的进度，从模型的研究到完整实施只需要几天时间。框架里还包含了一些预训练模型，可以直接拿来处理文本分类、序列标注等任务。

想试试？开源地址在此：

它能主动打电话给美发店、餐馆预约服务，全程流畅交流，简直以假乱真。Google董事长John Hennessy后来称之为“非凡的突破”，还说：“在预约领域，这个AI已经通过了图灵测试。”Duplex在多轮对话中表现出的理解能力、合成语音的自然程度，都是NLP目前水平的体现。如果你还没看过它的视频……

NLP在2019年会怎么样？我们借用一下ULMFiT作者Sebastian Ruder的展望：

今年9月，当搭载BigGAN的双盲评审中的ICLR 2019论文现身，行家们就沸腾了： 简直看不出这是GAN自己生成的 。

在计算机图像研究史上，BigGAN的效果比前人进步了一大截。比如在ImageNet上进行128×128分辨率的训练后，它的Inception Score（IS）得分166.3，是之前最佳得分52.52分 3倍 。

除了搞定128×128小图之外，BigGAN还能直接在256×256、512×512的ImageNet数据上训练，生成更让人信服的样本。

在论文中研究人员揭秘，BigGAN的惊人效果背后，真的付出了金钱的代价，最多要用512个TPU训练，费用可达11万美元，合人民币76万元。

不止是模型参数多，训练规模也是有GAN以来最大的。它的参数是前人的2-4倍，批次大小是前人的8倍。

研究论文：

前前后后，Fast.ai团队只用了16个AWS云实例，每个实例搭载8块英伟达V100 GPU，结果比Google用TPU Pod在斯坦福DAWNBench测试上达到的速度还要快40%。这样拔群的成绩，成本价只需要 40美元 ，Fast.ai在博客中将其称作人人可实现。

相关地址： Fast.ai博客介绍：

今年8月，英伟达和MIT的研究团队高出一个 超逼真 高清视频生成AI。

只要一幅动态的语义地图，就可获得和真实世界几乎一模一样的视频。换句话说，只要把你心中的场景勾勒出来，无需实拍，电影级的视频就可以自动P出来：

除了街景，人脸也可生成：

这背后的vid2vid技术，是一种在生成对抗性学习框架下的新方法：精心设计的生成器和鉴别器架构，再加上时空对抗目标。

这种方法可以在分割蒙版、素描草图、人体姿势等多种输入格式上，实现高分辨率、逼真、时间相干的视频效果。

好消息，vid2vid现已被英伟达开源。

研究论文：

GitHub地址

相关地址

相关地址

以一己之力建出精确的新冠病毒疫情预测模型，是非常厉害的，因为新冠病毒疫情的发展受到很多因素的影响。影响因素越多，建模越难，准确性越低。

2 月 17 日，Rob Yeung 博士发表。17 条评论

Facebook 推特 领英

什么是自然语言处理？ 神经语言程序设计 (NLP) 是一种教练方法，由 Richard Bandler、John Grinder 和 Frank Pucelik 在 1970 年代设计。然而，许多循证科学家和心理学家对 NLP 持强烈批评态度，有些人甚至将其添加到所谓的“不可信疗法”列表中。

NLP 创建后，其思想主要以易于阅读的书籍和培训计划的形式传播，旨在帮助人们实现变革和成功。甚至自助作家 Tony Robbins 最初也开始教人们 NLP 技术，直到 1980 年代后期的一场诉讼（由 NLP 共同创造者理查德·班德勒（Richard Bandler）提起）。在庭外和解中，罗宾斯同意为罗宾斯在 NLP 认证的每个人向 NLP 协会支付 200 美元。和解后不久，罗宾斯停止了 NLP 技术的培训，而是创建了自己的方法，他称之为神经联想条件反射 (NAC)。

为什么 NLP 如此有争议？ 在心理治疗中，有许多所谓的大师创造了自己的治疗技术。其中一些所谓的专家以一种愤世嫉俗的观点创造了自己的方法——出售疗法以赚钱。这些自称为专家的其他人可能认为他们真的做得很好——即使没有任何科学证据支持他们的说法。

2006 年，一组研究人员进行了一项调查，要求 101 名心理 健康 专业人士对数十种所谓的心理疗法的可信度进行评分。研究人员由约翰诺克罗斯领导，他从罗德岛大学获得临床心理学博士学位。在进行调查时，他是费城斯克兰顿大学的心理学教授。

诺克罗斯和他的团队要求专家（主要由美国心理学会的研究员以及心理 健康 学术期刊的现任和前任编辑）以 1 的等级对各种假设的疗法进行评分（因为“完全没有信誉”） ) 到 5（对于“肯定名誉扫地”）。例如，有一种叫做天使疗法的东西，从业者用它来治疗精神和行为障碍。天使疗法的评分为 4.98 - 非常不可信。用于治疗精神或行为障碍的前世疗法评分为 4.92。

NLP 的评分为 3.87。事实上，它被评为比其他疗法更不可信，例如治疗阴茎嫉妒的心理疗法（其得分略低，为 3.52）。甚至用于治疗精神和行为障碍的针灸也获得了 3.49 的更有利（即不那么不可信）的评分。

悉尼大学研究员 Anthony Grant 指出，许多研究人员“认为 NLP 不是基于证据的（即几乎没有同行评审的证据表明 NLP 确实有效。然后另一方可能会回应说，从业者知道它有效，因为他们已经亲眼目睹了 NLP 客户的重大变化。”

据推测，即使是使用天使疗法和前世疗法的从业者也相信他们通过他们的方法亲眼目睹了重大变化。然而，有些人可能会争辩说，没有 证据的 单纯 信念 实际上可能更好地被视为妄想。

NLP 从业者接受了多少培训？ 许多商业上可用的程序表示，它们可以在大约 12 到 15 天内证明人们成为 NLP 的大师级从业者。但是，考虑到英国和美国的大多数咨询或临床心理学家需要三到五年的时间才能获得资格和认证。

NLP 的现代心理学观点是什么？ 研究人员和合格的心理学家大多谴责 NLP。在 2019 年发表在 International Coaching Psychology Review 上的 一篇论文中，一组专家写道：“有许多 NLP 的批评者，他们将 NLP 视为一种伪科学、流行心理学甚至是邪教，没有任何证据证明其有效性。”

根据他们自己对 NLP 主题的 90 篇文章的调查，他们得出结论：“总而言之，没有实证研究为仅基于 NLP 工具和技术的辅导有效性提供证据。”

这很重要。他们没有发现只有少数科学研究支持 NLP。他们发现 没有 纸- 零 ， 小人物 ， 而不是一个 。

举一个例子，考虑由赫特福德大学心理学教授理查德·怀斯曼领导的一系列调查。NLP 认为，人们的眼球运动可以表明他们的精神状态，甚至在他们撒谎的时候。然而，怀斯曼及其同事收集的数据使他们得出结论：“三项研究的结果未能支持 NLP 的主张。”

在最近的另一篇学术论文中，亨利商学院的研究人员乔纳森·帕斯莫尔 (Jonathan Passmore) 和塔蒂亚娜·罗森 (Tatiana Rowson) 回顾了 NLP 的科学并得出结论：“我们毫不犹豫地认为教练心理学家和那些对循证教练感兴趣的人忽略 NLP 是明智之举品牌支持存在明确证据基础的模型、方法和技术。”

一个由托马斯WITKOWSKI独立检讨使用较强的语言，批评NLP“完全从科学借款或表达式提到它，没有任何科学意义的。它的名字已经可以看出——神经语言编程——这是一种残酷的欺。在神经元层面，它没有提供任何解释，它与学术语言学或编程没有任何共同之处。” 在论文的结尾，他总结道：“NLP 代表伪科学垃圾，应该永远封存起来。”

如果不是 NLP，那还有什么？ 英国国民 健康 服务 (NHS) 指出，以认知行为疗法 (CBT) 为基础的自助书籍、应用程序和课程可能会有用。例如，NHS 网站推荐了一些可以免费访问的应用程序和在线工具。在书籍方面，NHS 网站建议：“检查一本书是否由具有丰富经验并在专业机构（例如英国心理学会）注册的顾问或治疗师撰写。”

非常厉害。这个小伙自己成功摸索出一套程序，并且非常实用和高效，这不是普通人能做出来的看，非常厉害。