发布时间：
对于新药的研发具有关键性作用。发展前景是不错的，设计随机引物，广撒薄收，总会撞上某一段。还需要不断进步。
这个技术对于研发新药真的是有很大的用途。前景也很强。目前国内的技术虽然还比较的落后，但也在紧追不放。
关于周刊
本期周刊，我们选择了9篇预训练相关的论文，涉及词汇迁移、常识问答、多模态训练、层次训练、对比学习、图像分割、图文模型、蛋白质作用和免疫特征表示的 探索 。此外，在研究动态方面，我们选择了2篇预训练资讯，将介绍大模型竞争和视觉算法年度回顾方面的一些最新内容。最后，在资源推荐方面，我们选择了1篇预训练资源，将介绍跨语言摘要方面的一些最新内容。
本期贡献者：申德周 翟珂 吴新刚
论文推荐
标题：俄罗斯Yandex、Facebook等 | Fine-Tuning Transformers: Vocabulary Transfer（微调Transformer：词汇迁移）
简介：本文讨论了巨大型预训练模型为下游任务微调而引发迁移学习的 探索 之一：词汇迁移。自然语言处理领域最新进展中Transformer已成为绝对主流。这些模型的大多数实际自然语言处理应用通常是通过迁移学习实现的。本文研究了用于微调的语料库特定标记化是否会提高模型的最终性能。作者通过一系列的词汇表优化和迁移实验，证明了这种词汇表优化和迁移策略可以提高模型的性能。作者称之为：在迁移学习领域开创了词汇迁移的这一方向。
论文地址：「链接」
标题：加州大学 | Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization（基于完形转换和一致性优化的小样本常识问答）
简介：本文在常识问答（CQA）方向研究预训练语言模型中的知识提取。作者将重点放在更好地利用预训练语言模型中存储的知识。虽然研究人员发现，通过让预先训练的语言模型填充精心设计的关系提取和文本分类提示的空白，可以提取嵌入在预训练的语言模型中的知识，但目前尚不清楚作者是否可以在CQA中采用这种范式，其中输入和输出的形式更加灵活。为此，作者研究了四种可以将自然问题翻译成完形填空式句子的翻译方法，以更好地从语言模型中获取常识性知识，包括基于句法的模型、无监督神经模型和两种监督神经模型。此外，为结合不同的翻译方法，作者提议鼓励使用未标记数据对不同翻译问题进行模型一致性的预测。实验证明了作者的方法在三个CQA数据集上的有效性。
论文地址：「链接」
标题：威斯康星大学、微软等 | RegionCLIP: Region-based Language-Image Pretraining（基于区域的语言图像预训练）
简介：本文研究了基于识别图像区域的语言图像预训练模型。业界使用“图像-文本对”的对比语言图像预训练 (CLIP)在零样本和迁移学习中的图像分类方面取得了令人印象深刻的结果。然而，作者表明直接应用此类模型来识别图像区域以进行对象检测会导致性能不佳，因为存在域偏移：CLIP 被训练以将图像作为一个整体与文本描述进行匹配，而没有捕获图像之间的细粒度对齐区域和文本跨度。为了缓解这个问题，作者提出了一种称为 RegionCLIP 的新方法，该方法显着扩展了 CLIP 以学习区域级视觉表示，从而实现图像区域和文本概念之间的细粒度对齐。作者的方法利用 CLIP 模型将图像区域与模板标题匹配，然后预训练作者的模型以在特征空间中对齐这些区域-文本对。当将作者的预训练模型转移到开放词汇对象检测任务时，作者的方法在 COCO 和 LVIS 数据集上的新类别分别显著优于现有技术 AP50 和 AP。
论文地址：「链接」
代码地址：
标题：艾伦AI研究所、慕尼黑大学 | Efficient Hierarchical Domain Adaptation for Pretrained Language Models（预训练语言模型的高效分层域适应）
简介：本文研究了以分层树结构的域表示实现预训练语言模型的分层。生成式的语言模型，在不同的通用领域语料库上进行训练，然而这就限制了它们对更窄领域的适用性，之前的工作表明，持续的领域内训练可以提供进一步的收益。在本文中，作者介绍了一种使用计算效率高的适配器方法将域适应扩展到许多不同域的方法。作者的方法基于对文本域部分重叠的观察，作者将域表示为分层树结构，其中树中的每个节点都与一组适配器权重相关联。当与冻结的预训练语言模型相结合时，这种方法可以实现相关领域之间的参数共享，同时避免不相关领域之间的负面干扰。该方法很高效：对于 D 个域，计算成本为 O(log(D))。GPT-2 的实验结果和 C4 中 100 个最具代表性的网站中的大部分显示了域内的全面改进。作者还为保留域提供了一种推理时间算法，并表明对通过树的多条路径进行平均可以进一步提高泛化效果，同时仅增加推理的边际成本。
论文地址：「链接」
标题：谷歌、亚马逊等 | Supervised Graph Contrastive Pretraining for Text Classification（用于文本分类的有监督图对比预训练）
简介：本文介绍了用于文本分类的对比预训练技术。但是，通常可以使用来自与当前任务共享标签语义的相关任务的标记数据。作者假设有效地使用这些标记数据可以更好地概括当前任务。在本文中，作者提出了一种通过基于图的监督对比学习方法有效利用来自相关任务的标记数据的新方法。作者通过将监督信息从示例外推到令牌来制定令牌图。作者的公式产生了一个嵌入空间，其中属于同一类的高/低概率标记彼此靠近/远离。作者还提出了详细的理论见解、以作为本研究方法的驱动。基于作者采用的数据集，实验表明：作者的方法优于预训练方案 % 、并且基于示例级对比学习的公式提升约 %。此外，在零样本场景中实验表明跨域有效性平均提升。最后，作者还证明了该方法可以用作知识蒸馏设置中的噪声教师模型、约平均提升 。
论文地址：「链接」
标题：百度 | ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation（ERNIE-ViLG：双向视觉语言生成的统一生成式预训练）
简介：视觉语言预训练模型极大地提高了图像-文本生成任务的性能，但用于文本-图像生成任务的大规模预训练模型仍在研究中。本文提出了ERNIE-ViLG，一个统一的生成式预训练框架，基于Transformer模型并将图像生成和文本生成都表述为以文本/图像输入为条件的自回归生成任务。双向的图像-文本生成模型简化了跨视觉和语言的语义对接。对于文本到图像的生成过程，作者进一步提出了一种端到端的训练方法来共同学习视觉序列生成器和图像重建器。为了 探索 双向文本-图像生成的大规模预训练的前景，本文在亿图像-中文文本对的大规模数据集上训练了一个100亿参数的模型，该模型在文本-图像和图像-文本任务上都取得了最先进的性能。
论文地址：「链接」
标题：华中科大、西安交大、微软 | A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model（用预训练视觉语言模型进行零样本语义分割的基线）
简介：通过视觉语言预训练的零样本图像分类已经渐趋成熟，然而在更广泛的视觉问题上如物体检测和语义分割还需研究。本文在预训练的视觉语言模型CLIP上构建零样本语义分割基线。该问题难点在于语义分割和CLIP模型在不同的视觉颗粒度上执行，语义分割在像素上处理，而CLIP在图像上执行。为了弥补处理粒度上的差异，本文没有使用普遍的基于FCN的单阶段框架，而使用一个两阶段的语义分割框架，第一阶段提取泛化掩码，第二阶段利用基于图像的CLIP模型，对第一阶段产生的掩码图像作物进行零样本分类。本文的实验结果表明，这个简单的框架在很大程度上超过了目前的先进技术。凭借其简单性和强大的性能，本文希望这个框架能够作为基线以助未来的研究。
论文地址：「链接」
标题：中山大学 | AlphaFold2-aware protein-DNA binding site prediction using graph transformer（使用图Transformer进行结合AlphaFold2的蛋白质-DNA结合位点预测）
简介：蛋白质与DNA的相互作用在生物系统中起着至关重要的作用，确定蛋白质与DNA的结合位点是对各种生物活动，如转录和修复，进行机理理解和设计新型药物的第一步。现有的基于序列的方法只考虑了顺序相邻的上下文特征，这对捕捉空间信息是有限的。对此本文提出GraphSite，作者将结合位点预测问题转化为图节点分类任务，并采用基于Transformer的预训练模型，通过AlphaFold2预测结构，将蛋白质结构信息、AlphaFold2中Evoformer的表征和序列进化信息考虑在内实现DNA结合残基的识别。GraphSite大大改善了基于序列和结构的最新方法，并且在181种蛋白质的独立测试集上得到进一步证实，在AUPR和MCC上分别超过了最先进的基于结构的方法和。
论文地址：「链接」
标题：耶鲁 | Pipeline for retrieval of COVID-19 immune signatures（检索COVID-19免疫特征的流程）
简介：随着生物医学文献出版速度的加快，检索其中的特定的科学信息变得更有意义。在新冠流行的大背景下，有效地检索病毒免疫特征，即生物标志物，可以帮助了解不同的SARS-CoV-2感染的免疫反应机制。对此，本文构建了一个系统的流程来识别和提取结构化的COVID-19免疫特征。具体而言，作者使用基于SPECTER预训练的生物文本嵌入，配合SVM分类器来自动识别含有免疫特征的论文，并进一步对这些论文进行半自动查询流程构建，检索特征信息。此外，基于预训练嵌入的流程也可确定免疫特征的类型，比如基因表达与其他类型的分析。通过这种方法，部分自动化的文献挖掘可以帮助快速创建半结构化的知识库，用于自动分析新出现的 健康 威胁。
论文地址：「链接」
资源推荐
标题：孟加拉国工程技术大学、加州大学洛杉矶分校等 | CrossSum:超越 1500 多个语言对的以英语为中心的跨语言抽象文本摘要数据集
简介：作者提供了 CrossSum：一个包含 165 万个跨语言文章摘要样本、包含 45 种语言的 1500 多个语言对的大规模数据集。基于多语言 XL-Sum 数据集，并使用与语言无关的表示模型通过跨语言检索来对齐以不同语言编写的相同文章，作者提出了一种多阶段数据采样算法并微调多语言预训练模型mT5。实验结果表明在 CrossSum 上微调的模型优于摘要+翻译基线。
论文地址：「链接」
资源下载：
【关于转载】本文转载于公众号“智源社区”，仅用于学术分享，有任何问题请与我们联系：
iCLIP是一种新兴的实验技术，是研发创新药的最关键的技术之一。它的发明，让人们抛弃精密的观测仪器，也能确定RNA（核糖核酸）和蛋白质在哪个位置“交汇”，甚至可以读出位点“密码”。iCLIP技术难，犹如万千人海中找一个人，要从几十亿个碱基对找到一个或几个确定的结合点，精确度可想而知。国外研究团队已在此领域展开“技术竞赛”，研究论文以几个月为周期轮番上演。国内实验室却极少有成熟经验。
首先，使用WPS账号登录，在WPS中打开需要检测的论文，然后找到WPS的导航栏“论文助手”下面的“论文查重”，然后下面有“普通论文查重”和“职称论文查重”两个选项，一般选择“普通论文查重”即可，然后可以直接连接到常用的、可靠的查重引擎如PaperPass、万方数据、PaperOK、PaperTime等，选择一个查重机构，然后付费就可以进行检测了。
最后提醒，论文查重仅支持上传doc、docx、wps格式的文档，且文档字符数范围为1000-150000,大小不能超过30M。查重的文档建议先手动去除论文封面、摘要、参考文献、致谢等非正文部分。
1、首先需要打开电脑上的WPS文档。 2、然后再点击菜单栏中的特色功能。 3、然后再点击论文查重。 4、然后就可以选择查重当前论文，也可以点击选择其他论文查重。 5、然后再选择一个查重引擎。 6、然后就可以更改论文标题和论文作者。 7、最后再点击开始查重即可。
wps查重的方法如下：
工具：华为matebook 16、windows win7。
1、点击文件在电脑wps里点击文件。
2、点击会员专享在工具栏里点击会员专享。
3、点击论文查重在会员专享里点击论文查重。
4、点击普通论文查重在论文查重里点击普通论文查重即可。
WPS简介：
WPSOffice是由北京金山办公软件股份有限公司自主研发的一款办公软件套装，1989年由求伯君正式推出。
可以实现办公软件最常用的文字、表格、演示，PDF阅读等多种功能。具有内存占用低、运行速度快、云功能多、强大插件平台支持、免费提供在线存储空间及文档模板的优点。
论文查重是借助论文查重系统进行的，论文作者只需要把论文上传到查重系统，系统会根据论文目录进行分段查重。
1、在查重报告中，标黄色的文字代表这段话被判断为“引用”，标红色的文字代表这段话被判断为“涉嫌剽窃”。
2、查重是以“连续13个字重复”做为识别标准。如果找不到连续13个字与别人的文章相同，就检测不到重复。
3、论文中引用的参考文献部分也是会计算相似度的。
4、在知网的对比文库中，外文资料相对较少。
5、对比文库里不包括书籍，教材等。但有一个问题要注意，当你“参考”这些书籍教材中的一些经典内容时，很可能别人已经“参考”过了，如果出现这样子的情况，那就会被检测到相似。
6、检测系统对论文的分节是以“章”作为判断分节的。封面、摘要、绪论、第一章、第二章、等等这样一系列的都会各自分成一个片段来检测，每一个片段都计算出一个相似度，再通过这样每章的相似度来计算出整篇论文的总重复率。
7、当查重系统识别到你论文中有某句话涉嫌抄袭的时候，它就会对这句话的前面后面部分都重点进行模糊识别，这个时候判断标准就变得更严格，仅仅加一些副词或虚词(比如“的”、“然后”、“但是”、“所以”此类词语）是能够识别出来的。
8、在查重进行中，检测系统只能识别文字部分，论文中的图片、word域代码、mathtype编辑的公式、是不检测的，因为检测系统尚无法识别这些复杂的内容格式。可以通过[全选]——[复制]——[选择性粘贴]——[只保留文字]这样步骤的操作来查看具体的查重部分。另外，在编辑公式时，建议使用用mathtype，不要用word自带的公式编辑器。
9、在论文提交到学校之前，一定要自己先到网站查一下，如果有检测出来相似度较高的片段，自己先改一改。 论文修改一次以后，不要以为就肯定能过了，因为系统会根据论文内容的不同自动调整着重检测的段落，所以有时候第一次查重的时候是正常的，一模一样的句子，第二次检测的时候会判断为“抄袭”。这也是没有办法的，只能多查多改。
10、官方检测系统不对个人开放，学生自己是无法自行到知网去检测论文的，只能通过第三方检测平台进行。
论文查重的相关说明
论文查重，不同学校要求也不同，当然对于硕博与本科等区别也比较大；本科院校30%以内的也有，15%的也有；硕博的10%内的也有，所以同学们在查重前咨询下学校的要求，这样才能够有把握。
对于查重的原理基本上是一致的，没有区别；但是对于投稿的论文查重，建议使用跟杂志社要求的系统一致，比如知网期刊；如果需要排除作者自己的论文，那么只有查知网的才可以，其他的系统无法进行排除。
对于论文查重系统，并不是什么内容都查的出的，主要看文献库是否收录了当前内容，如果没有，那么就是查不出的。
对于论文查重系统来说并没有那么神秘的地方，同学们查重完成后，只要根据查重报告好好的修改，基本上都是没问题的。
1、论文查重会检测论文的摘要、正文和结尾等文字部分。知网查重的算法一般会检测论文的目录，可以分章检测，然后就会检测论文的摘要以及正文等内容的重复度。论文查重不会检测图片、公式等非文字的引用。论文查重也会与互联网上很多资源进行比较，网站查重不仅会和论文库中的论文进行对比，还会和互联网资源进行比较。2、论文查重会检测论文的引用内容。文章引用的部分在查重过程中并不算，但不能引用过多，一般允许5％的引用率。文章的文字是整篇论文查重的关键。引用别人的句子时，要非常注意细节。
论文查重怎么查？一般论文查重的时候都是通过论文查重软件或者是论文查重网站查重，这是目前论文查重最简单的方式，同学们在论文查重的时候可以利用论文查重软件或者论文查重网站检测。那么论文查重怎么查？下面给大家分享使用论文查重系统检测的方式。1、选择论文查重网站同学们在进行论文查重的时候，应该要选择论文查重网站。当然在查重网站的时候，应该要注意论文，查重网站的正规性，一般情况下，建议同学们选择一些正规的，知名度比较高的论文查重网站这样的论文查重网站是比较安全的。2、选择论文查重类型论文查重的时候，应该要选择适合自己的论文查重类型，比如说专业论文就选择专业类的论文查重系统。博士论文就选择博士类的论文，查重系统期刊的就选择系统期刊的。因为不同的论重系统，他们对于论文查重率的要求是不一样的，所以出现的结果也不同。同学们在选择论文查重系统类型的时候，可以根据自己的需求选择。3、了解学校的论文查重率同学们在进行论文查重的时候，应该要了解学校的论文查重率。因为所有的论文查重都是围绕学校的文查重率的要求来的。在进行论文查重的时候，查重率应该要低于学校的标准，如果高于同学校的标准以后，需要进行论文的修改。修改的话，要低于学校的标准，只有这样的话，才能够通过论文的查重。
抄袭复制学术不端行为一直存在，为了提高论文质量， 降低论文查重率，现在高校和期刊机构都要求对论文进行查重检测，在提交论文以前，我们可以自行查重，防止提交的论文重复率过高，论文重复率过高我们还需要进行降重，论文降重修改先要了解一下一般论文查重查什么？paperfree小编给大家讲解一下，然后我们可以后有针对性的进行修改保证论文原创性。 1.主体部分。 论文查重基本上都需要检测正文部分，因为正文是论文的中心内容，反映了作者的科研能力和中心内容，如文章的文字部分大规模抄袭、剽窃，文章肯定不会合格，所以在写作文章时必须原创，尽量用自己的话清楚明白地陈述文章的研究内容，防止复制粘贴而造成论文查重率过高。 2.引言.摘要.引文.结束语等其他文字。 除正文组成部分，本论文还包括引言、摘要、引文等其它重要部分，一般这部分内容也将被查重，这些内容属于作者研究方向的论证内容。当然，文中所引用的相关文献并不涉及查重。 3.图片.表格等非文字内容。 对某些要求较严格的大学或学报，会对图片、表格等非文字内容进行查重，但大多数普通院校对此内容并无查重要求。 事实上，论文没有达到合格检重率标准，论文审核也包括：论文的构思、陈述逻辑、论文构架等多维。即使论文的查重率仅为1％，但是文章内容毫无逻辑.质量极差，这篇论文也无法顺利通过审核。
在撰写论文的过程中，导师会强调论文的查重率。在初稿中，确保主题的创新是为了降低论文查重率。在选择论文查重检测系统时，他会选择一个合适和准确的。简而言之，他非常重视论文的降重。在查重检测的后期，还有一个非常重要的降重环节。降重需要根据重复检查的结果进行。毕业论文查重率多少算过？paperfree小编给大家讲解。 毕业论文的查重率对于不同的论文有不同的概念，因为不同类型的论文规定的最低查重率是不同的，所以不能直接用结果来判断。本科的查重率一般规定在20％-30％，所以30％的查重率只需要减轻本科的一小部分，不会有大问题。 对于硕士论文，一般学校规定在10％-20％之间，需要大幅度删除30％的查重率。一般情况下，提前查重时，需要将查重率控制在规定的最高查重率以下5％左右，以防止系统更新最终查重时查重率上升。 对于博士论文，一般要根据博士规格等学术专业的要求，至少5％到10％，核心论文的查重率会更严格，一般在5％以下，所以30％的查重绝对不包括在内。
大学学术论文是最简单的。学校对本科生论文的要求很低，需要详细解释所选论文的主题。因此，一些学生不注意论文，导致随后的差检测非常麻烦。正常的论文查重率应该在多少？paperfree小编给大家讲解。 正常论文的查重率应在30％以内，但30％的查重率是论文查重检测的最低标准。大多数学院和大学，无论是本科生还是硕士，都要求论文的查重率低于20％。如果是优秀的毕业论文，则查重率应低于10％。有许多论文查重检测系统可供本科论文选择。对于硕士、博士研究生和期刊论文的检测，需要使用高校系统进行查重检测。虽然许多本科学校会选择更准确的论文检测系统，但也有少数学校会选择其他查重检测系统。 高校作为一种通用的论文检测系统，具有绝对的地位。从重复超过13个连续字符的计算方法作为检测标准，这种计算方法非常合理。此外，高校拥有世界上最大的中文数据库。在本科阶段的查重检测已经足够，准确度也相当高。因此，许多高校的一些专业度很高，这意味着论文的质量要求非常高。 高利用率的检测系统。它使用空间向量余弦算法，可以检测文章中剽窃和不恰当引用的部分。这些数据库几乎涵盖了国家发表的具有学术价值的论文和期刊。
各个学校、不同的学位等级有不同的标准，博士学位论文比硕士论文要严格，硕士学位论文要比本科、专科要严格一点。一般的学校会要求控制在10%—15%之间。
各学校对毕业论文查重的要求各不相同，那么查重率多少算正常？
1.一般学校要求不超过30％。如果是知名重点本科毕业论文，要求会更严格，重复率不能超过20％。同时学历越高，要求越严格。
2.本科论文的查重率在20％~30％之间，而硕士论文的查重率在10％以下。博士论文的要求不到5％。假如你的毕业论文要发表，那么在某些期刊上，要求就会更严格。
3.对于普通本科院校来说，如果你的论文重复率低于15％，你可以申请毕业优秀论文的选拔。
如何选择查重平台？
为了将毕业论文降低到学校规定的重复率以下，毫无疑问，每个人都必须选择一些知名品牌进行论文测试。大量经验表明，当我们在非标准平台上查询论文时，不仅会导致论文重复率不准确，还会影响论文的安全性。曾经有一个例子，一些网站二次出售客户提交的论文。
是正文，不通过的原因可能是因为查重率太高了，你可以进行修改，或者问一下导师。希望我的回答对你有帮助，欢迎采纳我的回答，谢谢
面对论文查重这件事，很多人都会很关心，尤其是即将毕业的大学生，总是很好奇怎么进行论文查重。这时候选择哪个查重网站就很重要了。当然，我们也需要了解一些查重的常识。那么论文查重只对正文进行检测吗，其他内容会参与查重吗？1、根据高校规定决定哪些内容需要查重按照一般人的理解，论文只查正文是很正常的，但是有些学校规定，论文的所有内容都要进行检测，包括论文的题目、目录、摘要、前言、论文正文、结果、致谢、参考文献、附录等。因为整篇论文字数相当多，很多人为了省钱，选择只查正文。但是小编建议根据高校的规定来决定查重的内容。因为其他内容也会影响到论文的重复率！2、论文查重应该重点关注哪些内容很多人已经知道不仅仅是查正文，那么哪些部分可以省略呢？如果你在进行初稿查重时，可以选择只检测正文、摘要、致谢等部分，因为这些内容如果重复对论文的影响还是比较大的，所以，如果这些内容有问题可以及时进行修改，像目录、参考文献等内容，可以根据学校要求选择是否提交。
查重的范围每个学校都要求不同，大致分为2种情况，第一种就是提交正文部分查重，第二种就是提交全文查重。不管查重范围是哪些，我们都要保证原创性，尤其是正文部分，所占据的比例是最大的。
论文查重主要检查内容是论文的摘要、正文、包括引用部分。
论文审核不通过的原因是什么？
首先，论文的写作时参考了很多文献中的重点句子、专业性的话语的次数较多，跟很多文章相似度高，容易被检测出来，导致查重率过高。如果都是自己的写的但仍出现查重结果不合格，可能是使用了敏感的语言和句子。
其次在进行查重时，查重检测系统也很重要，有的检测系统并不专业，而有的知名的检测系统又太贵了，因而我们在选择查重系统时，建议选择收费没那么高，但是专业性的检测软件，这样既可以保证质量又可以保证论文的安全。
最后毕业论文查重结果还是不合格的话，就说明有些地方可能是论文部分内容相似度过高、错误引用文献、语句逻辑错误等，导致论文查重率高了，这样论文是不会通过的。