语义文本相似度研究论文

作为自然语言理解的一项基础工作,词语语义相似度度量一直是研究的重点。语义相似度度量本身是一个中间任务,它是大多数自然语言处理任务中一个必不可少的中间层次,在自然语言处理中有着广泛的应用,如词义消歧、信息检索以及机器翻译等。 本文的核心内容是汉语词语语义相似度算法研究以及如何将其应用于跨语言信息检索(Cross-Language Information Retrieval, CLIR)领域。首先对语义相似度度量算法进行综述,然后重点描述基于HowNet的语义相似度度量算法,提出根据知识词典描述语言(Knowledge Dictionary Mark-up Language, KDML)的结构特性将词语语义相似度分为三部分进行计算,每部分采用最大匹配的算法,同时加入义原深度信息以区别对待不同信息含量的义原。较以往同类算法,其计算结果具有区分度,更加符合人的主观感觉。 本文尝试将所建立的汉语语义相似度度量模式应用于跨语言信息检索系统。跨语言信息检索结合传统文本信息检索技术和机器翻译技术,在多方面涉及到语义问题,是语义相似度良好的切入点。两者的结合主要体现在两方面：(1)将语义相似度度量应用于查询翻译,利用语义相似度对查询关键词进行消歧翻译,提高翻译质量；(2)将语义相似度应用于查询扩展,使扩展内容与原查询具有更高相关性,以提高检索的召回率和准确率。 本文提出相对客观的评价标准,如为单独衡量词义消歧的性能,而使用第三届词义消歧系统评价会议(The 3rd Evaluating Word Sense Disambiguation Systems, SENSEVAL-3)语料进行测试；为衡量应用语义相似度于跨语言检索后的性能,又使用第九届文本检索会议(The 9th Text Retrieval Conference, TREC-9) CLIR评价任务的查询集、语料库和结果集进行评估。这使得我们的实验结果相对公正客观,具有一定可比性。本文对原有英汉跨语言信息检索系统进行一定程度的改进,使得各种相关算法都可方便地在系统中进行集成,成为一个研究跨语言信息检索的实验平台,其系统的设计思想充分体现模块化和扩展性。 综上,本文通过综合分析主流的语义相似度算法,而提出一种新的基于HowNet的汉语语义相似度算法,并给出其在英汉跨语言信息检索中的尝试性应用,希望能给相关领域的研究者有所借鉴。

NLP 是什么？ NLP 是计算机科学领域与 人工智能 领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的学科。NLP 由两个主要的技术领域构成：自然语言理解和自然语言生成。 自然语言理解方向，主要目标是帮助机器更好理解人的语言，包括基础的词法、句法等语义理解，以及需求、篇章、情感层面的高层理解。 自然语言生成方向，主要目标是帮助机器生成人能够理解的语言，比如文本生成、自动文摘等。NLP 技术基于大数据、知识图谱、 机器学习 、语言学等技术和资源，并可以形成机器翻译、深度问答、对话系统的具体应用系统，进而服务于各类实际业务和产品。 NLP在金融方面 金融行业因其与数据的高度相关性，成为人工智能最先应用的行业之一，而NLP与知识图谱作为人工智能技术的重要研究方向与组成部分，正在快速进入金融领域，并日益成为智能金融的基石。舆情分析舆情主要指民众对社会各种具体事物的情绪、意见、价值判断和愿望等。 事件(Event )：在特定时间、特定地点发生的事情。主题(Topic)：也称为话题，指一个种子事件或活动以及与它直接相关的事件和活动。专题(Subject)：涵盖多个类似的具体事件或根本不涉及任何具体事件。需要说明的是，国内新闻网站新浪、搜狐等所定义的“专题”概念大多数等同于我们的“主题”概念。热点：也可称为热点主题。热点和主题的概念比较接近，但有所区别。 1. 词干提取 什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。 2. 词形还原 什么是词形还原？ 词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了POS问题，即词语在句中的语义，词语对相邻语句的语义等。 3. 词向量化什么是词向量化？词向量化是用一组实数构成的向量代表自然语言的叫法。这种技术非常实用，因为电脑无法处理自然语言。词向量化可以捕捉到自然语言和实数间的本质关系。通过词向量化，一个词语或者一段短语可以用一个定维的向量表示，例如向量的长度可以为100。 4. 词性标注 什么是词性标注？简单来说，词性标注是对句子中的词语标注为名字、动词、形容词、副词等的过程。 5. 命名实体消歧 什么是命名实体消岐？命名实体消岐是对句子中的提到的实体识别的过程。例如，对句子“Apple earned a revenue of 200 Billion USD in 2016”，命名实体消岐会推断出句子中的Apple是苹果公司而不是指一种水果。一般来说，命名实体要求有一个实体知识库，能够将句子中提到的实体和知识库联系起来。 6. 命名实体识别 体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的任务。    7. 情感分析 什么是情感分析？情感分析是一种广泛的主观分析，它使用自然语言处理技术来识别客户评论的语义情感，语句表达的情绪正负面以及通过语音分析或书面文字判断其表达的情感等等。 8. 语义文本相似度 什么是语义文本相似度分析？语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。注意，相似性与相关性是不同的。 9.语言识别 什么是语言识别？语言识别指的是将不同语言的文本区分出来。其利用语言的统计和语法属性来执行此任务。语言识别也可以被认为是文本分类的特殊情况。 10. 文本摘要 什么是文本摘要？文本摘要是通过识别文本的重点并使用这些要点创建摘要来缩短文本的过程。文本摘要的目的是在不改变文本含义的前提下最大限度地缩短文本。 11.评论观点抽取 自动分析评论关注点和评论观点，并输出评论观点标签及评论观点极性。目前支持 13 类产品用户评论的观点抽取，包括美食、酒店、汽车、景点等，可帮助商家进行产品分析，辅助用户进行消费决策。 11.DNN 语言模型 语言模型是通过计算给定词组成的句子的概率，从而判断所组成的句子是否符合客观语言表达习惯。在机器翻译、拼写纠错、语音识别、问答系统、词性标注、句法分析和信息检索等系统中都有广泛应用。12.依存句法分析 利用句子中词与词之间的依存关系来表示词语的句法结构信息 (如主谓、动宾、定中等结构关系)，并用树状结构来表示整句的的结构 (如主谓宾、定状补等)。1、NLTK 一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的 jieba 处理库 2、文本处理流程 大致将文本处理流程分为以下几个步骤： Normalization Tokenization Stop words Part-of-speech Tagging Named Entity Recognition Stemming and Lemmatization 下面是各个流程的具体介绍 Normalization 第一步通常要做就是Normalization。在英文中，所有句子第一个单词的首字母一般是大写，有的单词也会全部字母都大写用于表示强调和区分风格，这样更易于人类理解表达的意思。 Tokenization Token是"符号"的高级表达， 一般值具有某种意义，无法再拆分的符号。在英文自然语言处理中，Tokens通常是单独的词，因此Tokenization就是将每个句子拆分为一系列的词。 Stop Word Stop Word 是无含义的词，例如’is’/‘our’/‘the’/‘in’/'at’等。它们不会给句子增加太多含义，单停止词是频率非常多的词。 为了减少我们要处理的词汇量，从而降低后续程序的复杂度，需要清除停止词。 Named Entity Named Entity 一般是名词短语，又来指代某些特定对象、人、或地点 可以使用 ne_chunk()方法标注文本中的命名实体。在进行这一步前，必须先进行 Tokenization 并进行 PoS Tagging。 Stemming and Lemmatization 为了进一步简化文本数据，我们可以将词的不同变化和变形标准化。Stemming 提取是将词还原成词干或词根的过程。 3、Word2vec Word2vec是一种有效创建词嵌入的方法，它自2013年以来就一直存在。但除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地创建推荐引擎和理解时序数据。在商业的、非语言的任务中。 ### 四、NLP前沿研究方向与算法 1、MultiBERT2、XLNet3、bert 模型 BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。 BERT提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。BERT的主要特点以下几点： 使用了Transformer作为算法的主要框架，Trabsformer能更彻底的捕捉语句中的双向关系； 使用了Mask Language Model(MLM)和 Next Sentence Prediction(NSP) 的多任务训练目标； 使用更强大的机器训练更大规模的数据，使BERT的结果达到了全新的高度，并且Google开源了BERT模型，用户可以直接使用BERT作为Word2Vec的转换矩阵并高效的将其应用到自己的任务中。 BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。在以后特定的NLP任务中，我们可以直接使用BERT的特征表示作为该任务的词嵌入特征。所以BERT提供的是一个供其它任务迁移学习的模型，该模型可以根据任务微调或者固定之后作为特征提取器。 模型结构： 由于模型的构成元素Transformer已经解析过，就不多说了，BERT模型的结构如下图最左： 对比OpenAI GPT(Generative pre-trained transformer)，BERT是双向的Transformer block连接；就像单向rnn和双向rnn的区别，直觉上来讲效果会好一些。 优点： BERT是截至2018年10月的最新state of the art模型，通过预训练和精调横扫了11项NLP任务，这首先就是最大的优点了。而且它还用的是Transformer，也就是相对rnn更加高效、能捕捉更长距离的依赖。对比起之前的预训练模型，它捕捉到的是真正意义上的bidirectional context信息。 缺点： MLM预训练时的mask问题 [MASK]标记在实际预测中不会出现，训练时用过多[MASK]影响模型表现 每个batch只有15%的token被预测，所以BERT收敛得比left-to-right模型要慢（它们会预测每个token）BERT火得一塌糊涂不是没有原因的： 使用Transformer的结构将已经走向瓶颈期的Word2Vec带向了一个新的方向，并再一次炒火了《Attention is All you Need》这篇论文； 11个NLP任务的精度大幅提升足以震惊整个深度学习领域； 无私的开源了多种语言的源码和模型，具有非常高的商业价值。 迁移学习又一次胜利，而且这次是在NLP领域的大胜，狂胜。 BERT算法还有很大的优化空间，例如我们在Transformer中讲的如何让模型有捕捉Token序列关系的能力，而不是简单依靠位置嵌入。BERT的训练在目前的计算资源下很难完成，论文中说的训练需要在64块TPU芯片上训练4天完成，而一块TPU的速度约是目前主流GPU的7-8倍。

本文介绍了一个简单的对比学习框架SimCSE，它极大地促进了最先进的句子嵌入。首先描述了一种无监督的方法，它接受一个输入句子，然后在对比目标中预测自己，并 只有标准的dropout用作噪声 。

这个简单的方法令人惊讶。发现，dropout充当了最小的数据扩充，移除它会导致数据表示不好。然后，我们提出了一种有监督的方法，它将自然语言推理数据集中的注释对纳入我们的对比学习框架中，使用“蕴涵”对作为正例，使用“矛盾”对作为硬负例。

在标准语义文本相似性（STS）任务中评估SimCSE，以及使用BERT-base的无监督和监督模型分别实现了76.3%和81.6%的斯皮尔曼相关性，与之前的最佳结果相比，分别提高了4.2%和2.2%。我们也展示了两者从理论和经验上来看， 对比学习目标将预先训练好的嵌入的各向异性空间规整得更加均匀，并且在有监督信号的情况下更好地对齐正对 。

学习通用句子嵌入是自然语言处理中的一个基本问题，在文献中得到了广泛的研究。在这项工作中，我们提出了最先进的句子嵌入方法，并证明了对比目标在以下情况下是非常有效的：再加上预先训练过的语言模型，如BERT或RoBERTa 。我们介绍了 SimCSE，一种简单的对比语言句子嵌入框架，可以从未标记或标记的数据中生成更好的句子嵌入 。

○ 1、无监督SimCSE：

○ 2、有监督SimCSE：

我们对七项标准语义文本相似性（STS）任务和七项转移任务中对SimCSE进行了综合评估。在STS任务中，我们的无监督模型和监督模型分别达到76.3%和81.6%的平均斯皮尔曼相关，与之前的最佳结果相比，分别提高了4.2%和2.2%。在转移任务上也取得了有竞争力的表现。

最后，我们在文献和研究中发现了一个不连贯的评估问题整合不同设置的结果，以便将来评估句子嵌入。

其中xi 和x+i是语义相关的。我们遵循对比框架，采用一个具有批量负例的叉熵目标：让 hi 和 hi+ 表示 xi 和 xi + 的表示，即训练目标。对于（xi，xi+）和小批量的N对是：

where xi and x+i are semantically related. We follow the contrastive framework in Chen et al. (2020) and take a cross-entropy objective with in-batch negatives (Chen et al., 2017;Henderson et al., 2017): let hi and h + i denote the representations of xi and x + i, the training objective for (xi, x+i) with a mini-batch of N pairs is:

其中 τ是一个温度超参数sim（h1，h2）是余弦相似性

在这项工作中，我们使用预训练的语言模型，如BERT或RoBERTa：h=fθ(x)，然后微调所有参数使用对比学习目标（等式1）。

对比学习中的一个关键问题是如何构建 (xi, xi+)对。在视觉表现中，一个有效的解决方案是对同一幅图像进行两次随机变换（例如，裁剪、翻转、变形和旋转）如xi 和 xi+。最近，在语言表达中也采用了类似的方法，方法是应用增广技术，如单词删除、重新排序和替换。然而，由于NLP的离散性，NLP中的数据扩充本质上是困难的。我们将在§3中看到。简单地在中间表示上使用标准Dropout比这些离散操作符表现得更好。

在NLP中，类似的对比学习目标在不同的背景下进行了探索。 在这些情况下, (xi, xi+)收集自有监督的数据集，如问题-段落对。由于xi和xi+的明显性质,这些方法总是使用双编码器框架， 例如，对于xi和xi+使用两个独立的编码器fθ1和fθ2。

对于句子嵌入，Logeswaran和Lee（2018）也使用了对比学习和双编码器方法，将当前句子和下一个句子组成为(xi,xi+)。

最近，Wang和Isola（2020）确定了与对比学习的对齐性alignment和一致性uniformity——并建议使用它们来衡量表达的质量。给出了一个正例对分布ppos，alignment计算成对实例的嵌入之间的预期距离（假设表示已经规范化）：

另一方面，一致性uniformity衡量的是嵌入物均匀分布效果：

其中pdata表示数据分布。 这两个指标与对比学习的目标非常一致 ：正例之间应该保持紧密，而随机实例的嵌入应该分散在超球体上。在接下来的部分中，我们还将使用这两个指标来证明我们的方法的内部工作原理。

使用 xi+=xi。关键的成分是让这个通过使用独立取样的dropout masks 对 xi 和 xi+进行相同的正例对操作。

其中z是dropout的随机掩码。我们只是将相同的输入进行编码器两次，并获得两个具有不同dropout masksz、z0的嵌入， SimCSE的训练目标是：

我们将其视为数据扩充的一种最小形式：正例对的句子完全相同它们的嵌入只在Dropout mask上有所不同。我们将这种方法与STS-B开发集上的其他训练目标进行比较。

表1将我们的数据增强技术方法与普通方法进行了比较：如crop、word删除和替换，可以看作是 h = fθ(g(x),z)，而g是x上的（随机）离散算子。注意到，即使删除一个单词会影响性能，但没有任何影响到增强效果优于dropout噪声。

我们还将self-prediction训练目标与使用的next-sentence目标进行了比较，选择其中一个或者两个独立的编码器。如表2所示，发现SimCSE比next-sentence目标的表现要好得多，并且使用一个编码器而不是两个编码器在我们的方法中有显著差异。

为了进一步了解dropout noise在无监督SimCSE中的作用，我们在表3中尝试了不同的 dropout rates，并观察到所有变体都低于Transformers的默认dropout概率p=0.1。

我们发现两个极端情况特别有趣：

在测试过程中，我们每10步对这些模型进行一次检查训练并可视化对齐alignment和一致性uniformity度量在Figure 2中，还有一个简单的数据扩充模型“删除一个单词”。如图所示，从预先训练好的检查点开始，所有模型都大大提高了一致性uniformity。

然而，这两种特殊变体的排列也会退化由于使用了dropout噪声，我们的无监督SimCSE保持了稳定的对齐alignment。它还表明，从预训练的检查点开始是至关重要的，因为它提供了良好的初始对齐alignment。最后，“删除一个单词”改善了对齐，但在一致性度量上获得了较小的增益，最终表现不如无监督SimCSE。

我们已经证明，添加dropout 噪声能够保持正例对的良好对齐(x,x+)~Ppos。

在本节中，将研究是否可以利用有监督的数据集来提供更好的训练信号，以改进方法的一致性。

之前的研究表明，有监督的自然语言推理（NLI）数据集通过预测两个句子之间的关系是包含关系、中性关系还是矛盾关系，有效地学习句子嵌入。在我们的对比学习框架中，直接从监督数据集中提取（xi，xi+）对，并使用它们优化等式1。

我们首先探索哪些监督数据集特别适合于构造正例对（xi，xi+）。我们用大量数据集和句子对样例进行了实验，包括：

最后，我们进一步利用NLI数据集，将其矛盾对作为负例对。

在NLI数据集中，给定一个前提，注释者需要手动编写一个绝对正确（蕴涵）、一个可能正确（中立）和一个绝对错误（矛盾）的句子。因此，对于每个前提及其蕴涵假设，都有一个伴随的矛盾假设（示例见图1）。

形式上我们扩展（xi，xi+）为（xi，xi+，xi-），其中xi是前提，xi+ 和 xi−是蕴涵假设和矛盾假设。然后，通过（N是最小批量）定义训练目标Li。

如表4所示，添加负例对可以进一步提高性能（84.9→ 86.2）这是最终有监督SimCSE。也试过了添加ANLI数据集或将其与无监督SimCSE方法相结合，但没有发现有意义的改进。我们也在有监督的SimCSE中考虑了双编码器框架，它损害了性能（86.2→ 84.2)。

最近的研究发现了一个 各向异性 问题语言表达，即学习到的嵌入占据了向量空间中的窄锥限制了他们的表达能力。

证明语言模型经过了捆绑训练输入/输出嵌入导致单词各向异性嵌入，在预先训练的上下文表示中进一步观察到了这一点。证明奇异值语言模型中单词嵌入矩阵的构造急剧衰减：除了少数占主导地位的奇异值，所有其他值都接近于零。

（1）缓解问题的一个简单方法是后处理，要么消除主要主成分，要么将嵌入映射到各向同性分布 。

（2）另一个常见的解决方案是在训练期间增加正则化。在这项工作中，我们从理论和经验上证明，对比目标也可以缓解各向异性问题。

各向异性问题自然与均匀性有关，两者都强调了 嵌入应均匀分布在空间中 。直观地说，随着目标的推进，优化对比学习目标可以提高一致性（或缓解各向异性问题）把负例分开。在这里，我们采用单一光谱的观点，这是一种常见的做法。在这里，我们从单数光谱的角度来分析单词嵌入，以及 表明对比目标可以“压平”目标句子嵌入的奇异值分布并使表示更加各向同性 。

继Wang和Isola，对比学习目标（等式1）的渐近性可以用以下等式表示：负例的数量接近无穷大（假设 f(x) 被归一化）：

与后处理方法相比 。其目的仅在于鼓励各向同性表征，对比学习还优化了通过方程式6中的第一个term，这是SimCSE成功的关键。第7节给出了定量分析。

我们在7个语义文本上进行了实验相似性（STS）任务。请注意，所有的STS实验都是完全无监督的，没有使用STS训练集。

即使对于有监督的SimCSE，也只是说，在之前的工作之后，需要额外的标记数据集进行训练。还评估了7项迁移学习任务，并在附录E中提供了详细结果。我们与Reimers和Gurevych（2019）持有类似的观点， 即句子嵌入的主要目标是对语义相似的句子进行聚类 ，因此将STS作为主要结果。

我们评估了7项STS任务：2012-2016年STS，STS基准（Cer等人，2017年）和疾病相关性（Marelli等人，2014年）。当与之前的工作进行比较时，我们在评估设置中确定了已发表论文中的无效比较模式，包括（a）是否使用额外的回归系数，（b）斯皮尔曼与皮尔逊的相关性，以及（c）如何汇总结果（表B.1）。

我们比较了无监督和有监督的SimCSE与以前SOTA的STS任务句子嵌入方法。无监督基线包括平均GloVe嵌入、平均BERT或RoBERTa嵌入，以及后处理方法，如BERT - flow和BERT-whitening。

我们还比较了最近使用 对比目标的几种方法，包括： （1）IS-BERT），它最大限度地实现了global和local features 之间的一致性； （2） DeCLUTR，将同一文档中的不同spans作为正例对； （3） CT，它将来自两个不同的编码器的同一句子进行嵌入对齐。

表5显示了7项STS任务的评估结果。无论是否有额外的NLI监督，SimCSE都能显著改善所有数据集的结果，大大优于之前最先进的模型。具体而言，我们的无监督SimCSE-BERT-base将之前的SOTA平均Spearman相关性从72.05%提高到76.25%，甚至与有监督baselines相当。

在使用NLI数据集时，SimCSE-BERTbase进一步将SOTA结果提高到81.57%。RoBERTa编码器的收获更为明显，我们的有监督SimCSE通过RoBERT-alarge实现了83.76%

在附录E中，我们展示了SimCSE与现有工作相比达到PAR或更好的传输任务性能，还有一个辅助MLM目标可以进一步提高性能。

我们调查了不同的pooling方法和硬负例的影响。本节中所有报告的结果均基于STS-B开发集。我们在附录D中提供了更多的消融研究（标准化、温度和MLM目标）。

Reimers和Gurevych等人表明，采用预训练模型的平均嵌入（尤其是从第一层和最后一层）比 [CLS]具有更好的性能 。

表6显示了无监督和有监督SimCSE中不同池化方法之间的比较。对于[CLS]表示，原始的BERT实现需要在其上附加一个MLP层。

（1）保持MLP层； （2） 无MLP层； （3） 在训练期间保留MLP，但在测试时移除。

硬负例。直觉上，这可能是有益的区分硬负例（矛盾示例）和其他批量负例。因此，我们扩展等式5中定义的训练目标，以纳入不同负例的权重：

我们用不同的α值对SimCSE进行训练，并对训练后的模型进行评估STS-B的开发集，也考虑中性假设作为硬负例。如表7所示，α=1表现最好，且中性假设不会带来进一步的收益。

在本节中，我们将进一步分析，以了解SimCSE的内部工作原理。

图3显示了不同句子嵌入模型的一致性uniformity和对齐性alignment，以及它们的平均STS结果。 总的来说，具有更好的对齐和一致性的模型可以获得更好的性能 。

○ 在附录F中，进一步证明了SimCSE可以有效地均匀预训练嵌入的奇异值分布。 ○ 在附录G中，我们展示了SimCSE在不同的句子对之间提供了更可区分的余弦相似性。

我们使用SBERTbase和SimCSE-BERTbase进行了小规模检索实验。使用来自Flickr30k数据集，并将任意随机句子作为检索类似句子的查询（基于余弦）相似性）。如表8所示的几个例子，SimCSE检索到的句子与SBERT检索到的质量进行比较具有较高的识别率。

句子嵌入早期建立在分布假设的基础上，通过预测给定句子的周围句子。表明，简单地用n-gram嵌入来增强word2vec的概念会产生很好的结果。最近的几种方法从数据扩充或同一句话的不同版本或文件采用了对比目标。与这些工作相比，

我们感谢Tao Lei, Jason Lee, Zhengyan Zhang, Jinhyuk Lee, Alexander Wettig, Zexuan Zhong，普林斯顿NLP小组的成员有益的讨论和宝贵的反馈。这项研究得到了哈佛大学研究生奖学金的支持普林斯顿大学和苹果公司的礼物奖。