faceboo发表的nlp论文

当我们点开某个网站或新闻APP时，经常能看到这样的标题：“14亿人都不知道的真相，历史的血泪……”、“删前速看！XXX视频流出”等，但是点进页面时往往会发现，都是标题党！而时间和流量却在悄悄溜走。 如果这时候有方法能够先阅读新闻，再提炼出关键内容，那么将大大节约时间并精准地找到我们需要的内容。而这就是图鸭君此次会介绍的技术—— “文本摘要自动生成”技术！ 文本摘要充斥着我们生活的方方面面，从新闻关键词的提炼到Google、百度等搜索引擎的结果优化，真正实现搜索中的所见即所得，“Smarter & Faster”。 主流的文本摘要方式 目前主流的文本摘要自动生成有两种方式，一种是抽取式（extractive），另一种是生成式（abstractive）。 抽取式顾名思义，就是按照一定权重，从原文中寻找跟中心思想最接近的一条或几条句子。而生成式是计算机通读原文，在理解整篇文章意思的基础上，重新生成概要。 抽取式摘要目前已经相对成熟，但抽取质量及内容流畅度均差强人意。伴随着深度学习的研究，生成式摘要对质量和流畅度都有很大的提升，但目前也涉及到原文本长度过长、抽取内容不佳等问题的限制。 文本摘要的发展概况 抽取式摘要是一种比较成熟的方案，其中Text rank排序算法以其简洁、高效的特点被工业界广泛运用。大体思想就是先去除文章中的一些停用词，之后对句子的相似度进行度量，计算每一句相对另一句的相似度得分，迭代传播，直到误差小于0.0001，再对上述方法得到的关键语句进行排序，即可获得摘要。抽取式摘要主要考虑单词词频，并没有过多的语义信息，像“猪八戒”、“孙悟空”这样的词汇都会被独立对待，无法建立文本段落中完整的语义信息。 生成式文本摘要主要依靠深度神经网络结构实现，2014年由Goolge Brain团队提出的Sequence-to-Sequence序列，开启了NLP中端到端网络的火热研究。Sequence-to-Sequence又称为编、解码器（Encoder、Decoder）架构。其中Encoder、Decoder均由数层RNN／LSTM构成，Encoder负责把原文编码为一个向量C；Decode负责从向量C中提取提取信息，获取语义，生成文本摘要。 但是由于“长距离依赖”问题的存在，RNN到最后一个时间步输入单词时，已经丢失了相当一部分信息。此时编码生成的语义向量C同样也丢失了大量信息，就可能导致生成摘要准确性不足。 Bahdanau等人在14年发表的论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，第一次将Attention机制应用于NLP中。Attention机制是一种注意力（资源）分配机制，在某个特定时刻，总是特地关注跟它相关的内容，其他内容则进行选择性忽视。就像下图，在翻译“Knowledge”时，只会关注“知识”，这样的对齐能让文本翻译或者摘要生成更具针对性。 RNN／LSTM单元下每个词是按照顺序输入网络的，会记录文章的序列信息，所以大多数NLP任务，都是采用的RNN架构。但是这种架构限制了网络训练及摘要生成的速度，因为RNN必须一个个输入、一个个生成，无法进行并行计算。2016年Facebook AI Research（FAIR）发表了《A Convolutional Encoder Model for Neural Machine Translation》，对Encoder部分采用似乎不擅长处理序列信息的卷积网络（CNN）来实现，结果在翻译、摘要任务中，也达到了当年的最高水准； 2017年5月，还是FAIR，发布了《Convolutional Sequence to Sequence Learning》，第一次实现Encoder、Decoder均采用CNN单元，使网络在训练阶段能够并行计算，效率进一步提升。同时引入了Multi-step Attention，相比于之前只在最后一层生成翻译时往回看，多跳注意（Multi-step Attentio）的优化点在于Decoder阶段生成每一层的语义向量时都会往回看，进而提升了准确度。同时还有一些其他的trick：像引入单词的位置信息、残差网络、计算Attention时对高层语义信息和低层细节信息兼收并取等。最后在生成翻译和摘要时，速度相比之前最快的网络，提升了近9倍！同时在WMT-14英德、英法两项的单模型训练结果中，BLEU得分达到了25.16、40.46，英法翻译任务也是迄今为止得分最高的模型。 时隔一个月，17年6月，Google团队发布了名为《Attention Is All You Need》的文章，即不用CNN和RNN单元，只用Self-Attention和Encoder-Decoder Attention，就完全实现了端到端的翻译任务，也是在WMT-14英德、英法翻译任务中，BLEU值达到了28.4和41.0的高分，因为同样可以并行计算，模型的训练及生成速度也有所提升。Self-Attention相比于之前的模型更加关注句子的内部结构，也就是word-pairs的信息，附图是是论文中Attention可视化的结果，可以发现仅在源文端，模型便学习到了“making more difficult”的word-pairs信息。同理对目标端，模型也会单独学习句子的内部结构信息。之后利用Encoder-Decoder Attention建立源文和目标词组、句子的对应关系。相比于FAIR 的卷积模型得到很高层才能看到句子的完整信息，Self-Attention在第一层便巧妙地建立了每个词和整个句子的联系，同时位置编码采用三角函数的相对位置法表示，理论上可以泛化到训练中未见过的更长长度句子的翻译中。目前Self-Attention仅用在了翻译任务中，但这样的思想，在文本摘要自动生成的任务中，也是可以参照的。总结： 从传统的Text rank抽取式，到深度学习中采用RNN、CNN单元处理，再引入Attention、Self-Attention机器生成摘要的方式，这一步步的转化使得文本摘要生成的方式跟人类思维越来越像，先理解后提取概要。与此同时生成的摘要效果，也常常让我们惊艳。 但文本摘要自动生成依然还有很多难题，如段落太长，那机器对于段落的理解时间就会更长，而过长的时间会导致机器对于段落信息的记忆损失；而深度学习非常依赖有标签的样本，标注工作也会是一笔非常大的开销等等，这些都是需要大家去解决与克服的问题。 简而言之，文本摘要自动生成技术是一项非常具有前景但也是极具挑战性的技术。

量子位 出品 | 公众号 QbitAI

2018，仍是AI领域激动人心的一年。

这一年成为NLP研究的分水岭，各种突破接连不断；CV领域同样精彩纷呈，与四年前相比GAN生成的假脸逼真到让人不敢相信；新工具、新框架的出现，也让这个领域的明天特别让人期待……近日，Analytics Vidhya发布了一份2018人工智能技术总结与2019趋势预测报告，原文作者PRANAV DAR。量子位在保留这个报告架构的基础上，对内容进行了重新编辑和补充。这份报告总结和梳理了全年主要AI技术领域的重大进展，同时也给出了相关的资源地址，以便大家更好的使用、查询。报告共涉及了五个主要部分：

下面，我们就逐一来盘点和展望，嘿喂狗~

2018年在NLP 历史 上的特殊地位，已经毋庸置疑。

这份报告认为，这一年正是NLP的分水岭。2018年里，NLP领域的突破接连不断：ULMFiT、ELMo、最近大热的BERT……

迁移学习成了NLP进展的重要推动力。从一个预训练模型开始，不断去适应新的数据，带来了无尽的潜力，甚至有“NLP领域的ImageNet时代已经到来”一说。

正是这篇论文，打响了今年NLP迁移学习狂欢的第一枪。论文两名作者一是Fast.ai创始人Jeremy Howard，在迁移学习上经验丰富；一是自然语言处理方向的博士生Sebastian Ruder，他的NLP博客几乎所有同行都在读。两个人的专长综合起来，就有了ULMFiT。想要搞定一项NLP任务，不再需要从0开始训练模型，拿来ULMFiT，用少量数据微调一下，它就可以在新任务上实现更好的性能。

他们的方法，在六项文本分类任务上超越了之前最先进的模型。详细的说明可以读他们的论文：网站上放出了训练脚本、模型等：

这个名字，当然不是指《芝麻街》里那个角色，而是“语言模型的词嵌入”，出自艾伦人工智能研究院和华盛顿大学的论文Deep contextualized word representations，NLP顶会NAACL HLT 2018的优秀论文之一。

ELMo用语言模型（language model）来获取词嵌入，同时也把词语所处句、段的语境考虑进来。

这种语境化的词语表示，能够体现一个词在语法语义用法上的复杂特征，也能体现它在不同语境下如何变化。

当然，ELMo也在试验中展示出了强大功效。把ELMo用到已有的NLP模型上，能够带来各种任务上的性能提升。比如在机器问答数据集SQuAD上，用ELMo能让此前最厉害的模型成绩在提高4.7个百分点。

这里有ELMo的更多介绍和资源：

它由Google推出，全称是 B idirectional E ncoder R epresentations from T ransformers，意思是来自Transformer的双向编码器表示，也是一种预训练语言表示的方法。从性能上来看，没有哪个模型能与BERT一战。它在11项NLP任务上都取得了最顶尖成绩，到现在，SQuAD 2.0前10名只有一个不是BERT变体：

如果你还没有读过BERT的论文，真的应该在2018年结束前补完这一课：另外，Google官方开源了训练代码和预训练模型：如果你是PyTorch党，也不怕。这里还有官方推荐的PyTorch重实现和转换脚本：

BERT之后，NLP圈在2018年还能收获什么惊喜？答案是，一款新工具。

就在上周末，Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架，每天要为Facebook旗下各种应用处理超过10亿次NLP任务，是一个工业级的工具包。

（Facebook开源新NLP框架：简化部署流程，大规模应用也OK）

PyText基于PyTorch，能够加速从研究到应用的进度，从模型的研究到完整实施只需要几天时间。框架里还包含了一些预训练模型，可以直接拿来处理文本分类、序列标注等任务。

想试试？开源地址在此：

它能主动打电话给美发店、餐馆预约服务，全程流畅交流，简直以假乱真。Google董事长John Hennessy后来称之为“非凡的突破”，还说：“在预约领域，这个AI已经通过了图灵测试。”Duplex在多轮对话中表现出的理解能力、合成语音的自然程度，都是NLP目前水平的体现。如果你还没看过它的视频……

NLP在2019年会怎么样？我们借用一下ULMFiT作者Sebastian Ruder的展望：

今年9月，当搭载BigGAN的双盲评审中的ICLR 2019论文现身，行家们就沸腾了： 简直看不出这是GAN自己生成的 。

在计算机图像研究史上，BigGAN的效果比前人进步了一大截。比如在ImageNet上进行128×128分辨率的训练后，它的Inception Score（IS）得分166.3，是之前最佳得分52.52分 3倍 。

除了搞定128×128小图之外，BigGAN还能直接在256×256、512×512的ImageNet数据上训练，生成更让人信服的样本。

在论文中研究人员揭秘，BigGAN的惊人效果背后，真的付出了金钱的代价，最多要用512个TPU训练，费用可达11万美元，合人民币76万元。

不止是模型参数多，训练规模也是有GAN以来最大的。它的参数是前人的2-4倍，批次大小是前人的8倍。

研究论文：

前前后后，Fast.ai团队只用了16个AWS云实例，每个实例搭载8块英伟达V100 GPU，结果比Google用TPU Pod在斯坦福DAWNBench测试上达到的速度还要快40%。这样拔群的成绩，成本价只需要 40美元 ，Fast.ai在博客中将其称作人人可实现。

相关地址： Fast.ai博客介绍：

今年8月，英伟达和MIT的研究团队高出一个 超逼真 高清视频生成AI。

只要一幅动态的语义地图，就可获得和真实世界几乎一模一样的视频。换句话说，只要把你心中的场景勾勒出来，无需实拍，电影级的视频就可以自动P出来：

除了街景，人脸也可生成：

这背后的vid2vid技术，是一种在生成对抗性学习框架下的新方法：精心设计的生成器和鉴别器架构，再加上时空对抗目标。

这种方法可以在分割蒙版、素描草图、人体姿势等多种输入格式上，实现高分辨率、逼真、时间相干的视频效果。

好消息，vid2vid现已被英伟达开源。

研究论文：

GitHub地址

相关地址

相关地址

第一问：角度减少30分，即减小整圆面积的1/720*π*100*100约等于13.9平方厘米第二问：R增加1cm，即增加的面积等于现整圆面积-原整圆面积再*1/6=（π*101*101-π100*100）/6约等于105.2平方厘米