发布时间：
首先我会详细阐述 BERT 原理，然后简单介绍一下 ELMO 以及 GPT
BERT 全称为 B idirectional E ncoder R epresentation from T ransformer，是 Google 以 无监督的方式利用大量无标注文本 「炼成」的语言模型，其架构为 Transformer 中的 Encoder（BERT=Encoder of Transformer）
我在 Transformer 详解 中已经详细的解释了所有 Transformer 的相关概念，这里就不再赘述
以往为了解决不同的 NLP 任务，我们会为该任务设计一个最合适的神经网络架构并做训练，以下是一些简单的例子
不同的 NLP 任务通常需要不同的模型，而设计这些模型并测试其 performance 是非常耗成本的（人力，时间，计算资源）。如果有一个能 直接处理各式 NLP 任务的通用架构 该有多好？
随着时代演进，不少人很自然地有了这样子的想法，而 BERT 就是其中一个将此概念付诸实践的例子
Google 在预训练 BERT 时让它同时进行两个任务： 1. 漏字填空 2. 下个句子预测
对正常人来说，要完成这两个任务非常简单。只要稍微看一下前后文就知道完形填空任务中 [MASK] 里应该填 退了 ；而 醒醒吧 后面接 你没有妹妹 也十分合理(?)
接下来我会分别详细介绍论文中这两个任务的设计细节
在 BERT 中，Masked LM（Masked Language Model）构建了语言模型，简单来说，就是 随机遮盖或替换 一句话里面的任意字或词，然后让模型通过上下文预测那一个被遮盖或替换的部分，之后 做 Loss 的时候也只计算被遮盖部分的 Loss ，这其实是一个很容易理解的任务，实际操作如下：
这样做的好处是，BERT 并不知道 [MASK] 替换的是哪一个词，而且 任何一个词都有可能是被替换掉的，比如它看到的 apple 可能是被替换的词 。这样强迫模型在编码当前时刻词的时候 不能太依赖当前的词 ，而要考虑它的上下文，甚至根据上下文进行 "纠错"。比如上面的例子中，模型在编码 apple 时，根据上下文 my dog is，应该 把 apple 编码成 hairy 的语义而不是 apple 的语义
我们首先拿到属于上下文的一对句子，也就是两个句子，之后我们要在这两个句子中加一些特殊的 token： [CLS]上一句话[SEP]下一句话[SEP] 。也就是在句子开头加一个 [CLS] ，在两句话之间和句末加 [SEP] ，具体地如下图所示
可以看到，上图中的两句话明显是连续的。如果现在有这么一句话 [CLS] 我的狗很可爱 [SEP] 企鹅不擅长飞行 [SEP] ，可见这两句话就 不是连续的 。在实际训练中，我们会让这两种情况出现的数量为** 1:1**
Token Embedding 就是正常的词向量，即 PyTorch 中的 () Segment Embedding 的作用是用 embedding 的信息让模型 分开上下句 ，我们给上句的 token 全 0，下句的 token 全 1，让模型得以判断上下句的起止位置，例如
Position Embedding 和 Transformer 中的不一样，不是三角函数，而是 学习出来的
BERT 预训练阶段实际上是将上述两个任务结合起来，同时进行，然后将所有的 Loss 相加，例如
BERT 的 Fine-Tuning 共分为 4 种类型，以下内容、图片均来自台大李宏毅老师 Machine Learning 课程 （以下内容 图在上，解释在下）
为什么要用CLS？ 这里李宏毅老师有一点没讲到，就是为什么要用第一个位置，即 [CLS] 位置的 output。这里我看了网上的一些博客，结合自己的理解解释一下。因为 BERT 内部是 Transformer，而 Transformer 内部又是 Self-Attention， 所以 [CLS] 的 output 里面肯定含有整句话的完整信息 ，这是毋庸置疑的。但是 Self-Attention 向量中，自己和自己的值其实是占大头的，现在假设使用 的 output 做分类，那么这个 output 中实际上会更加看重 ，而 又是一个有实际意义的字或词，这样难免会影响到最终的结果。但是 [CLS] 是没有任何实际意义的，只是一个占位符而已，所以就算 [CLS] 的 output 中自己的值占大头也无所谓。当然你 也可以将所有词的 output 进行 concat，作为最终的 output
首先将问题和文章通过 [SEP] 分隔，送入 BERT 之后，得到上图中黄色的输出。此时我们还要训练两个 vector，即上图中橙色和黄色的向量。首先将橙色和所有的黄色向量进行 dot product，然后通过 softmax，看哪一个输出的值最大，例如上图中 对应的输出概率最大，那我们就认为 s=2
同样地，我们用蓝色的向量和所有黄色向量进行 dot product，最终预测得 的概率最大，因此 e=3。最终，答案就是 s=2,e=3
你可能会觉得这里面有个问题，假设最终的输出 s>e 怎么办，那不就矛盾了吗？其实在某些训练集里，有的问题就是没有答案的，因此此时的预测搞不好是对的，就是没有答案
以上就是 BERT 的详细介绍，参考以下文章
ELMo是Embedding from language Model的缩写，它通过无监督的方式对语言模型进行预训练来学习单词表示
这篇论文的想法其实非常简单，但是效果却很好。它的思路是用 深度的双向 Language Model 在大量未标注数据上训练语言模型 ，如下图所示
在实际任务中，对于输入的句子，我们使用上面的语言模型来处理它，得到输出向量，因此这可以看作是一种 特征提取 。但是 ELMo 与普通的 Word2Vec 或 GloVe 不同，ELMo 得到的 Embedding 是 有上下文信息 的
具体来说，给定一个长度为 N 的句子，假设为 ，语言模型会计算给定 的条件下出现 的概率：
传统的 N-gram 模型 不能考虑很长的历史 ，因此现在的主流是使用 多层双向 LSTM 。在时刻 ，LSTM 的第 层会输出一个隐状态 ，其中 ， 是 LSTM 的层数。最上层是 ，对它进行 softmax 之后得到输出词的概率
类似的，我们可以用 一个反向 来计算概率：
通过这个 LSTM，我们可以得到 。我们的损失函数是这两个 LSTM 的 加和 :
这两个 LSTM 有各自的参数 和 ，而 Word Embedding 参数 和 Softmax 参数 是共享的
为了用于下游（DownStream）的特定任务，我们会把不同层的隐状态组合起来，具体组合的参数是根据不同的特定任务学习出来的，公式如下：
GPT 得到的语言模型参数不是固定的，它会根据特定的任务进行调整（通常是微调），这样的到的句子表示能更好的适配特定任务。它的思想也很简单，使用 单向 Transformer 学习一个语言模型 ，对句子进行无监督的 Embedding，然后 根据具体任务对 Transformer 的参数进行微调 。GPT 与 ELMo 有两个主要的区别：
这里解释一下上面提到的 单向 Transformer 。在 Transformer 的文章中，提到了 Encoder 与 Decoder 使用的 Transformer Block 是不同的。在 Decoder Block 中，使用了 Masked Self-Attention ，即句子中的每个词都只能对 包括自己在内的前面所有词进行 Attention ，这就是单向 Transformer。GPT 使用的 Transformer 结构就是将 Encoder 中的 Self-Attention 替换成了 Masked Self-Attention ，具体结构如下图所示
训练的过程也非常简单，就是将 n 个词的词嵌入 ( ) 加上位置嵌入 ( )，然后输入到 Transformer 中，n 个输出分别预测该位置的下一个词 这里的位置编码没有使用传统 Transformer 固定编码的方式，而是动态学习的
Pretraining 之后，我们还需要针对特定任务进行 Fine-Tuning。假设监督数据集合 的输入 是一个词序列 ，输出是一个分类的标签 ，比如情感分类任务
我们把 输入 Transformer 模型，得到最上层最后一个时刻的输出 ，将其通过我们新增的一个 Softmax 层（参数为 ）进行分类，最后用 CrossEntropyLoss 计算损失，从而根据标准数据调整 Transformer 的参数以及 Softmax 的参数 。这等价于最大似然估计：
正常来说，我们应该调整参数使得 最大，但是 为了提高训练速度和模型的泛化能力 ，我们使用 Multi-Task Learning，同时让它最大似然 和
这里使用的 还是之前语言模型的损失（似然），但是使用的数据不是前面无监督的数据 ，而是使用当前任务的数据 ，而且只使用其中的 ，而不需要标签
针对不同任务，需要简单修改下输入数据的格式，例如对于相似度计算或问答，输入是两个序列，为了能够使用 GPT，我们需要一些特殊的技巧把两个输入序列变成一个输入序列
ELMo 和 GPT 最大的问题就是 传统的语言模型是单向的 —— 我们根据之前的历史来预测当前词。但是我们不能利用后面的信息。比如句子 The animal didn’t cross the street because it was too tired 。我们在编码 it 的语义的时候需要同时利用前后的信息，因为在这个句子中， it 可能指代 animal 也可能指代 street 。根据 tired ，我们推断它指代的是 animal 。但是如果把 tired 改成 wide ，那么 it 就是指代 street 了。传统的语言模型，都 只能利用单方向的信息 。比如前向的 RNN，在编码 it 的时候它看到了 animal 和 street ，但是它还没有看到 tired ，因此它不能确定 it 到底指代什么。如果是后向的 RNN，在编码的时候它看到了 tired ，但是它还根本没看到 animal ，因此它也不能知道指代的是 animal 。 Transformer 的 Self-Attention 理论上是可以同时关注到这两个词的，但是根据前面的介绍，为了使用 Transformer 学习语言模型，必须 用 Mask 来让它看不到未来的信息 ，所以它也不能解决这个问题的
根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。（GPT,ELMO）GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及从右到左两个方向的语言模型），但是是分别有两个方向的自回归LM，然后把LSTM的两个方向的隐节点状态拼接到一起，来体现双向语言模型这个事情的。所以其实是两个自回归语言模型的拼接，本质上仍然是自回归语言模型。
自回归语言模型有优点有缺点，缺点是只能利用上文或者下文的信息，不能同时利用上文和下文的信息，当然，貌似ELMO这种双向都做，然后拼接看上去能够解决这个问题，因为融合模式过于简单，所以效果其实并不是太好。它的优点，其实跟下游NLP任务有关，比如生成类NLP任务，比如文本摘要，机器翻译等，在实际生成内容的时候，就是从左向右的， 自回归语言模型天然匹配这个过程 。而Bert这种DAE模式，在生成类NLP任务中，就面临训练过程和应用过程不一致的问题，导致 生成类的NLP任务到目前为止都做不太好 。
自回归语言模型只能根据上文预测下一个单词，或者反过来，只能根据下文预测前面一个单词。相比而言，Bert通过 在输入X中随机Mask掉一部分单词 ，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词，如果你对Denoising Autoencoder比较熟悉的话，会看出，这确实是典型的DAE的思路。那些被Mask掉的单词就是在输入侧加入的所谓噪音。类似Bert这种预训练模式，被称为DAE LM。
这种DAE LM的优缺点正好和自回归LM反过来，它能比较自然地融入双向语言模型，同时看到被预测单词的上文和下文，这是好处。缺点是啥呢？ 主要在输入侧引入[Mask]标记，导致预训练阶段和Fine-tuning阶段不一致的问题 ，因为Fine-tuning阶段是看不到[Mask]标记的。DAE吗，就要引入噪音，[Mask] 标记就是引入噪音的手段，这个正常。
XLNet的出发点就是：能否 融合自回归LM和DAE LM两者的优点 。就是说如果站在自回归LM的角度，如何引入和双向语言模型等价的效果；如果站在DAE LM的角度看，它本身是融入双向语言模型的，如何抛掉表面的那个[Mask]标记，让预训练和Fine-tuning保持一致。当然，XLNet还讲到了一个Bert被Mask单词之间相互独立的问题。
BERT:【 Pre-training of Deep Bidirectional Transformers for Language Understanding】
○ 将预训练语言模型应用在下游任务中，一般有两种策略：
作者认为影响当前预训练语言模型的 瓶颈是——“模型是单向的” 。如 GPT 选择从左到右的架构，这使得每个 token 只能注意到它前面的 token，这对 sentence 级的任务影响还是次要的，但对于 token 级的任务来说影响就很巨大。例如问答任务，从两个方向结合上下文是至关重要的。
BERT 通过使用受完形填空任务启发的 Mask Language Model （MLM）缓解了先前模型的单向性约束问题。MLM 随机 mask 掉一些输入文本中的 token，然后根据剩下的上下文预测 masked 的 token。除了 Mask Language Model，作者还提出了 Next Sequence Predict 任务，来联合训练文本对表示。
论文中BERT的改进如下：
预训练前的一般语言表征有着悠久历史，本节我们简要回顾一下最广泛使用的方法。
基于特征的无监督方法 ： 几十年来，学习广泛适用的词汇表征一直是一个活跃的研究领域，包括非神经系统、神经系统方法。预训练的词嵌入是现代NLP系统的一个组成部分，与从头学习的嵌入相比，它提供了显著的改进（Turian等人，2010）。为了预先训练单词嵌入向量，已经使用了从左到右的语言建模目标（Mnih和Hinton，2009），以及在左右上下文中区分正确单词和错误单词的目标（Mikolov等人，2013）。
这些方法已被推广到更粗糙的粒度，例如句子嵌入（Kiros等人，2015；Logeswaran和Lee，2018）或段落嵌入（Le和Mikolov，2014）。为了训练句子表征，之前的工作已经使用了目标对候选下一个句子进行排序（Jernite等人，2017；Logeswaran和Lee，2018），根据前一个句子的表征从左到右生成下一个句子单词（Kiros等人，2015），或去噪自动编码器衍生的目标（Hill等人，2016）。
ELMo 及其前身（Peters等人，20172018a）从不同的维度概括了传统的单词嵌入研究。它们通过从左到右和从右到左的语言模型中提取上下文敏感的特征。每个标记的上下文表示是从左到右和从右到左表示的 串联 。在将上下文单词嵌入与现有任务特定架构相结合时，ELMo推进了几个主要NLP基准（Peters等人，2018a）的最新技术，包括问答（Rajpurkar等人，2016年）、情感分析（Socher等人，2013年）和命名实体识别（Tjong Kim-Sang和De Meulder，2003年）。Melamud等人（2016年）提出通过一项任务来学习语境表征，即使用 LSTM 从左右语境中预测单个单词。与ELMo类似，他们的模型是基于特征的，而不是深度双向的。Fedus等人（2018）表明，完形填空任务可以用来提高文本生成模型的 稳健性 。
无监督微调方法：
与 基于特征feature-based 的方法一样，第一种方法只在未标记文本中预先训练单词嵌入参数的情况下才朝这个方向工作。最近，产生上下文标记表示的句子或文档编码器已经从未标记的文本和文本中预训练出来针对受监督的下游任务进行了 微调fine-tuned 。 这些方法的 优点是 ，很少有参数需要从头学习。至少部分由于这一优势，OpenAI GPT在GLUE基准测试的许多句子级任务上取得了之前的最新成果。从左到右的语言建模和自动编码器目标已用于此类模型的预训练。
注解 ：BERT的整体预训练和微调程序。除了输出层之外，在预训练和微调中使用相同的体系结构。相同的预训练模型参数用于初始化不同下游任务的模型。在微调过程中，所有参数都会微调。
基于监督数据的迁移学习： 也有研究表明，在大数据集的监督任务中，如自然语言推理和机器翻译可以有效地进行转换。计算机视觉研究也证明了 从大型预训练模型中进行迁移学习的重要性 ，其中一个有效的方法是对使用ImageNet预训练模型进行微调。
本节将介绍BERT及其详细实现。在我们的框架中有两个步骤：预训练和微调。
BERT的一个显著特点是其跨不同任务的统一体系结构 。预训练的体系结构和最终的下游体系结构之间的差异最小。
BERT 的模型架构是 一种多层的双向 transformer encoder ，BERT 在实现上与 transformer encoder 几乎完全相同。
定义：transformer block 的个数为 L ; hidden 大小为 H; self-attentions head 的个数为 A. 作者主要展示了两种规模的 BERT 模型：
在这项工作中，我们将层数（即Transformer blocks）表示为L，隐藏大小表示为H，自我注意头的数量表示为A。我们主要报告两种型号的结果：
为了进行比较，选择BERT-base与OpenAI GPT具有相同的模型大小。然而，关键的是， BERT Transformer使用双向自注意力机制self-attention ，而 GPT Transformer使用受限自注意力机制constrained self-attention ，其中每个标记只能关注其左侧的上下文。
为了使 BERT 能处理大量不同的下游任务，作者将模型的输入设计成可以输入单个句子或句子对，这两种输入被建模成同一个 token 序列。作者使用了有 30000 个 token 的 vocabulary 词嵌入。
Pre-training BERT : 我们不使用传统的从左到右或从右到左的语言模型来预训练BERT。相反，我们使用本节所述的两个无监督任务对BERT进行预训练。这一步如图1的左半部分所示。
Task #1: Masked LM 标准的语言模型只能实现从左到右或从右到左的训练，不能实现真正的双向训练，这是因为双向的条件是每个单词能直接“看到自己”，并且模型可以在多层上下文中轻松的预测出目标词。
为了能够实现双向的深度预训练，作者选择 随机 mask 掉一些比例的 token ，然后预测这些被 masked 的 token，在这种设置下，被 masked 的 token 的隐向量表示被输出到词汇表的 softmax 上，这就与标准语言模型设置相同。作者将 这个过程称为“Masked LM”，也被称为“完形填空” 。
○ Masked LM 预训练任务的缺点 ： 在于由于 [MASK] 标记不会出现在微调阶段，这就造成了预训练和微调阶段的不一致。为了解决该问题，作者提出了 一种折中的方案 ：
○ BERT 的 mask策略：
Task #2: Next Sentence Prediction (NSP) 很多下游任务都是基于对两句话之间的关系的理解，语言模型不能直接捕获这种信息。为了训练模型理解这种句间关系，作者 设计了 next sentence prediction 的二分类任务 。具体来说，就是选择两个句子作为一个训练样本，有 50% 的概率是下一句关系，有 50% 的概率是随机选择的句子对， 预测将 [CLS] 的最终隐状态 C 输入 sigmoid 实现 。
○ Pre-training data ： 作者选用了BooksCorpus (800M words) 和 English Wikipedia (2,500M words) 作为预训练的语料库，作者只选取了 Wikipedia 中的文本段落，忽略了表格、标题等。为了获取长的连续文本序列，作者选用了 BIllion Word Benchmark 这样的文档级语料库，而非打乱的句子级语料库。
Fine-tuning BERT ： 因为 transformer 中的 self-attention 机制适用于很多下游任务，所以可以直接对模型进行微调。对于涉及文本对的任务，一般的做法是独立 encode 文本对，然后再应用双向的 cross attention 进行交互。Bert 使用 self-attention 机制统一了这两个阶段，该机制直接能够实现两个串联句子的交叉编码。
对于不同的任务，只需要简单地将特定于该任务的输入输出插入到 Bert 中，然后进行 end2end 的fine-tuning。
与预训练相比，微调相对便宜。从完全相同的预训练模型开始，本文中的所有结果最多可以在单个云TPU上复制1小时，或在GPU上复制几个小时。
在本节中，我们将介绍11个NLP任务的BERT微调结果。 GLUE： GLUE (General Language Understanding Evaluation) 是多个 NLP 任务的集合。作者设置 batch size 为 32；训练 3 个 epochs；在验证集上从（5e-5, 4e-5, 3e-5, 2e-5）中选择最优的学习率。结果如下：
结果见表1。 BERT-base和BERT-large在所有任务上都比所有系统表现出色，与现有技术相比，平均准确率分别提高了和 。请注意，除了注意掩蔽，BERT-base和OpenAI GPT在模型架构方面几乎相同。
对于最大和最广泛报道的GLUE任务MNLI，BERT获得了的绝对准确率提高。在官方的GLUE排行榜10中，BERT-lagle获得分，而OpenAI GPT在撰写本文之日获得分。我们发现BERT-large在所有任务中都显著优于BERT-base，尤其是那些训练数据很少的任务。
SQuAD : 斯坦福问答数据集（SQuAD ）收集了10万对众包问答对。给出一个问题和一段维基百科中包含答案的文章，任务是预测文章中的答案文本。
如图1所示，在问答任务中，我们将输入的问题和段落表示为单个压缩序列，问题使用A嵌入，段落使用B嵌入。在微调过程，我们只引入一个起始向量S和一个端向量E。单词i作为答案范围开始的概率计算为Ti和S之间的点积，然后是段落中所有单词的softmax：
答案范围结束时使用类似公式。候选人从位置 i 到位置 j 的得分定义为：S·Ti + E·Tj ,最大得分跨度为 j≥ i 被用作预测。训练目标是正确起始位置和结束位置的对数概率之和。我们微调了3个阶段，学习率为5e-5，批量大小为32。
表2显示了顶级排行榜条目以及顶级发布系统的结果。SQuAD排行榜的前几名没有最新的公共系统描述，并且允许在训练系统时使用任何公共数据。因此，在我们的系统中使用适度的数据扩充，首先在TriviaQA上进行微调，然后再对团队进行微调。
我们表现最好的系统在ensembling方面的表现优于排名第一的系统，在ensembling方面的表现优于排名第一的系统+ F1，在单一系统方面的表现优于排名第一的系统+ F1得分。事实上，我们的单BERT模型在F1成绩方面优于顶级合奏系统。如果没有TriviaQA微调数据，我们只会损失 F1，仍然远远超过所有现有系统。
其他实验：略
在本节中，我们对BERT的许多方面进行了消融实验，以便更好地了解它们的相对重要性。其他消融研究见附录C。
预训练任务的效果 ：
○ 进行了如下消融测试：
○ 结果如下：
模型大小的影响 ：
○ 结果如下：
作者证明了 ：如果模型经过充分的预训练，即使模型尺寸扩展到很大，也能极大改进训练数据规模较小的下游任务。
将 Bert 应用于 Feature-based 的方法 ：
○ feature-based 的方法是从预训练模型中提取固定的特征，不对具体任务进行微调 。 ○ 这样的方法也有一定的优点 ：
作者进行了如下实验：在 CoNLL-2003 数据集上完成 NER 任务，不使用 CRF 输出，而是从一到多个层中提取出激活值，输入到 2 层 768 维的 BiLSTM 中，再直接分类。结果如下：
结果说明：无论是否进行微调，Bert 模型都是有效的。
个人认为 Bert 的意义在于：
由于语言模型的迁移学习，最近的经验改进表明，丰富的、无监督的预训练是许多语言理解系统的一个组成部分。特别是，这些结果使得即使是低资源任务也能从深层单向体系结构中受益。我们的主要贡献是将这些发现进一步推广到深层双向体系结构中，使相同的预训练模型能够成功地处理广泛的NLP任务。
首先，使用WPS账号登录，在WPS中打开需要检测的论文，然后找到WPS的导航栏“论文助手”下面的“论文查重”，然后下面有“普通论文查重”和“职称论文查重”两个选项，一般选择“普通论文查重”即可，然后可以直接连接到常用的、可靠的查重引擎如PaperPass、万方数据、PaperOK、PaperTime等，选择一个查重机构，然后付费就可以进行检测了。
最后提醒，论文查重仅支持上传doc、docx、wps格式的文档，且文档字符数范围为1000-150000,大小不能超过30M。查重的文档建议先手动去除论文封面、摘要、参考文献、致谢等非正文部分。
1、首先需要打开电脑上的WPS文档。 2、然后再点击菜单栏中的特色功能。 3、然后再点击论文查重。 4、然后就可以选择查重当前论文，也可以点击选择其他论文查重。 5、然后再选择一个查重引擎。 6、然后就可以更改论文标题和论文作者。 7、最后再点击开始查重即可。
wps查重的方法如下：
工具：华为matebook 16、windows win7。
1、点击文件在电脑wps里点击文件。
2、点击会员专享在工具栏里点击会员专享。
3、点击论文查重在会员专享里点击论文查重。
4、点击普通论文查重在论文查重里点击普通论文查重即可。
WPS简介：
WPSOffice是由北京金山办公软件股份有限公司自主研发的一款办公软件套装，1989年由求伯君正式推出。
可以实现办公软件最常用的文字、表格、演示，PDF阅读等多种功能。具有内存占用低、运行速度快、云功能多、强大插件平台支持、免费提供在线存储空间及文档模板的优点。
论文查重是借助论文查重系统进行的，论文作者只需要把论文上传到查重系统，系统会根据论文目录进行分段查重。
1、在查重报告中，标黄色的文字代表这段话被判断为“引用”，标红色的文字代表这段话被判断为“涉嫌剽窃”。
2、查重是以“连续13个字重复”做为识别标准。如果找不到连续13个字与别人的文章相同，就检测不到重复。
3、论文中引用的参考文献部分也是会计算相似度的。
4、在知网的对比文库中，外文资料相对较少。
5、对比文库里不包括书籍，教材等。但有一个问题要注意，当你“参考”这些书籍教材中的一些经典内容时，很可能别人已经“参考”过了，如果出现这样子的情况，那就会被检测到相似。
6、检测系统对论文的分节是以“章”作为判断分节的。封面、摘要、绪论、第一章、第二章、等等这样一系列的都会各自分成一个片段来检测，每一个片段都计算出一个相似度，再通过这样每章的相似度来计算出整篇论文的总重复率。
7、当查重系统识别到你论文中有某句话涉嫌抄袭的时候，它就会对这句话的前面后面部分都重点进行模糊识别，这个时候判断标准就变得更严格，仅仅加一些副词或虚词(比如“的”、“然后”、“但是”、“所以”此类词语）是能够识别出来的。
8、在查重进行中，检测系统只能识别文字部分，论文中的图片、word域代码、mathtype编辑的公式、是不检测的，因为检测系统尚无法识别这些复杂的内容格式。可以通过[全选]——[复制]——[选择性粘贴]——[只保留文字]这样步骤的操作来查看具体的查重部分。另外，在编辑公式时，建议使用用mathtype，不要用word自带的公式编辑器。
9、在论文提交到学校之前，一定要自己先到网站查一下，如果有检测出来相似度较高的片段，自己先改一改。 论文修改一次以后，不要以为就肯定能过了，因为系统会根据论文内容的不同自动调整着重检测的段落，所以有时候第一次查重的时候是正常的，一模一样的句子，第二次检测的时候会判断为“抄袭”。这也是没有办法的，只能多查多改。
10、官方检测系统不对个人开放，学生自己是无法自行到知网去检测论文的，只能通过第三方检测平台进行。
论文查重的相关说明
论文查重，不同学校要求也不同，当然对于硕博与本科等区别也比较大；本科院校30%以内的也有，15%的也有；硕博的10%内的也有，所以同学们在查重前咨询下学校的要求，这样才能够有把握。
对于查重的原理基本上是一致的，没有区别；但是对于投稿的论文查重，建议使用跟杂志社要求的系统一致，比如知网期刊；如果需要排除作者自己的论文，那么只有查知网的才可以，其他的系统无法进行排除。
对于论文查重系统，并不是什么内容都查的出的，主要看文献库是否收录了当前内容，如果没有，那么就是查不出的。
对于论文查重系统来说并没有那么神秘的地方，同学们查重完成后，只要根据查重报告好好的修改，基本上都是没问题的。
1、论文查重会检测论文的摘要、正文和结尾等文字部分。知网查重的算法一般会检测论文的目录，可以分章检测，然后就会检测论文的摘要以及正文等内容的重复度。论文查重不会检测图片、公式等非文字的引用。论文查重也会与互联网上很多资源进行比较，网站查重不仅会和论文库中的论文进行对比，还会和互联网资源进行比较。2、论文查重会检测论文的引用内容。文章引用的部分在查重过程中并不算，但不能引用过多，一般允许5％的引用率。文章的文字是整篇论文查重的关键。引用别人的句子时，要非常注意细节。
论文查重怎么查？一般论文查重的时候都是通过论文查重软件或者是论文查重网站查重，这是目前论文查重最简单的方式，同学们在论文查重的时候可以利用论文查重软件或者论文查重网站检测。那么论文查重怎么查？下面给大家分享使用论文查重系统检测的方式。1、选择论文查重网站同学们在进行论文查重的时候，应该要选择论文查重网站。当然在查重网站的时候，应该要注意论文，查重网站的正规性，一般情况下，建议同学们选择一些正规的，知名度比较高的论文查重网站这样的论文查重网站是比较安全的。2、选择论文查重类型论文查重的时候，应该要选择适合自己的论文查重类型，比如说专业论文就选择专业类的论文查重系统。博士论文就选择博士类的论文，查重系统期刊的就选择系统期刊的。因为不同的论重系统，他们对于论文查重率的要求是不一样的，所以出现的结果也不同。同学们在选择论文查重系统类型的时候，可以根据自己的需求选择。3、了解学校的论文查重率同学们在进行论文查重的时候，应该要了解学校的论文查重率。因为所有的论文查重都是围绕学校的文查重率的要求来的。在进行论文查重的时候，查重率应该要低于学校的标准，如果高于同学校的标准以后，需要进行论文的修改。修改的话，要低于学校的标准，只有这样的话，才能够通过论文的查重。
抄袭复制学术不端行为一直存在，为了提高论文质量， 降低论文查重率，现在高校和期刊机构都要求对论文进行查重检测，在提交论文以前，我们可以自行查重，防止提交的论文重复率过高，论文重复率过高我们还需要进行降重，论文降重修改先要了解一下一般论文查重查什么？paperfree小编给大家讲解一下，然后我们可以后有针对性的进行修改保证论文原创性。 1.主体部分。 论文查重基本上都需要检测正文部分，因为正文是论文的中心内容，反映了作者的科研能力和中心内容，如文章的文字部分大规模抄袭、剽窃，文章肯定不会合格，所以在写作文章时必须原创，尽量用自己的话清楚明白地陈述文章的研究内容，防止复制粘贴而造成论文查重率过高。 2.引言.摘要.引文.结束语等其他文字。 除正文组成部分，本论文还包括引言、摘要、引文等其它重要部分，一般这部分内容也将被查重，这些内容属于作者研究方向的论证内容。当然，文中所引用的相关文献并不涉及查重。 3.图片.表格等非文字内容。 对某些要求较严格的大学或学报，会对图片、表格等非文字内容进行查重，但大多数普通院校对此内容并无查重要求。 事实上，论文没有达到合格检重率标准，论文审核也包括：论文的构思、陈述逻辑、论文构架等多维。即使论文的查重率仅为1％，但是文章内容毫无逻辑.质量极差，这篇论文也无法顺利通过审核。
在撰写论文的过程中，导师会强调论文的查重率。在初稿中，确保主题的创新是为了降低论文查重率。在选择论文查重检测系统时，他会选择一个合适和准确的。简而言之，他非常重视论文的降重。在查重检测的后期，还有一个非常重要的降重环节。降重需要根据重复检查的结果进行。毕业论文查重率多少算过？paperfree小编给大家讲解。 毕业论文的查重率对于不同的论文有不同的概念，因为不同类型的论文规定的最低查重率是不同的，所以不能直接用结果来判断。本科的查重率一般规定在20％-30％，所以30％的查重率只需要减轻本科的一小部分，不会有大问题。 对于硕士论文，一般学校规定在10％-20％之间，需要大幅度删除30％的查重率。一般情况下，提前查重时，需要将查重率控制在规定的最高查重率以下5％左右，以防止系统更新最终查重时查重率上升。 对于博士论文，一般要根据博士规格等学术专业的要求，至少5％到10％，核心论文的查重率会更严格，一般在5％以下，所以30％的查重绝对不包括在内。
大学学术论文是最简单的。学校对本科生论文的要求很低，需要详细解释所选论文的主题。因此，一些学生不注意论文，导致随后的差检测非常麻烦。正常的论文查重率应该在多少？paperfree小编给大家讲解。 正常论文的查重率应在30％以内，但30％的查重率是论文查重检测的最低标准。大多数学院和大学，无论是本科生还是硕士，都要求论文的查重率低于20％。如果是优秀的毕业论文，则查重率应低于10％。有许多论文查重检测系统可供本科论文选择。对于硕士、博士研究生和期刊论文的检测，需要使用高校系统进行查重检测。虽然许多本科学校会选择更准确的论文检测系统，但也有少数学校会选择其他查重检测系统。 高校作为一种通用的论文检测系统，具有绝对的地位。从重复超过13个连续字符的计算方法作为检测标准，这种计算方法非常合理。此外，高校拥有世界上最大的中文数据库。在本科阶段的查重检测已经足够，准确度也相当高。因此，许多高校的一些专业度很高，这意味着论文的质量要求非常高。 高利用率的检测系统。它使用空间向量余弦算法，可以检测文章中剽窃和不恰当引用的部分。这些数据库几乎涵盖了国家发表的具有学术价值的论文和期刊。
各个学校、不同的学位等级有不同的标准，博士学位论文比硕士论文要严格，硕士学位论文要比本科、专科要严格一点。一般的学校会要求控制在10%—15%之间。
各学校对毕业论文查重的要求各不相同，那么查重率多少算正常？
1.一般学校要求不超过30％。如果是知名重点本科毕业论文，要求会更严格，重复率不能超过20％。同时学历越高，要求越严格。
2.本科论文的查重率在20％~30％之间，而硕士论文的查重率在10％以下。博士论文的要求不到5％。假如你的毕业论文要发表，那么在某些期刊上，要求就会更严格。
3.对于普通本科院校来说，如果你的论文重复率低于15％，你可以申请毕业优秀论文的选拔。
如何选择查重平台？
为了将毕业论文降低到学校规定的重复率以下，毫无疑问，每个人都必须选择一些知名品牌进行论文测试。大量经验表明，当我们在非标准平台上查询论文时，不仅会导致论文重复率不准确，还会影响论文的安全性。曾经有一个例子，一些网站二次出售客户提交的论文。
是正文，不通过的原因可能是因为查重率太高了，你可以进行修改，或者问一下导师。希望我的回答对你有帮助，欢迎采纳我的回答，谢谢
面对论文查重这件事，很多人都会很关心，尤其是即将毕业的大学生，总是很好奇怎么进行论文查重。这时候选择哪个查重网站就很重要了。当然，我们也需要了解一些查重的常识。那么论文查重只对正文进行检测吗，其他内容会参与查重吗？1、根据高校规定决定哪些内容需要查重按照一般人的理解，论文只查正文是很正常的，但是有些学校规定，论文的所有内容都要进行检测，包括论文的题目、目录、摘要、前言、论文正文、结果、致谢、参考文献、附录等。因为整篇论文字数相当多，很多人为了省钱，选择只查正文。但是小编建议根据高校的规定来决定查重的内容。因为其他内容也会影响到论文的重复率！2、论文查重应该重点关注哪些内容很多人已经知道不仅仅是查正文，那么哪些部分可以省略呢？如果你在进行初稿查重时，可以选择只检测正文、摘要、致谢等部分，因为这些内容如果重复对论文的影响还是比较大的，所以，如果这些内容有问题可以及时进行修改，像目录、参考文献等内容，可以根据学校要求选择是否提交。
查重的范围每个学校都要求不同，大致分为2种情况，第一种就是提交正文部分查重，第二种就是提交全文查重。不管查重范围是哪些，我们都要保证原创性，尤其是正文部分，所占据的比例是最大的。
论文查重主要检查内容是论文的摘要、正文、包括引用部分。
论文审核不通过的原因是什么？
首先，论文的写作时参考了很多文献中的重点句子、专业性的话语的次数较多，跟很多文章相似度高，容易被检测出来，导致查重率过高。如果都是自己的写的但仍出现查重结果不合格，可能是使用了敏感的语言和句子。
其次在进行查重时，查重检测系统也很重要，有的检测系统并不专业，而有的知名的检测系统又太贵了，因而我们在选择查重系统时，建议选择收费没那么高，但是专业性的检测软件，这样既可以保证质量又可以保证论文的安全。
最后毕业论文查重结果还是不合格的话，就说明有些地方可能是论文部分内容相似度过高、错误引用文献、语句逻辑错误等，导致论文查重率高了，这样论文是不会通过的。