发表服务
鱼与熊掌兼得：融合检索和生成的SimBERT模型.前段时间我们开放了一个名为SimBERT的模型权重，它是以Google开源的BERT模型为基础，基于微软的UniLM思想设计了融检索与生成于一体的任务，来进一步微调后得到的模型，所以它同时具备相似问生成和相似句检索...
基于SimBERT的相似文本生成感谢苏神开源的SimBERT，笔者先前简单尝试了SimBERT在相似文本生成的应用。同时结合nlpcda作者开源的代码，所以才有了博客中的demo：NLPCDA——中文数据增强工具。估计是标题不够高大上，或者大家不知道...
RoFormer-Sim是SimBERT的升级版，我们也可以通俗地称之为“SimBERTv2”，而SimBERT则默认是指旧版。从外部看，除了基础架构换成了RoFormer外，RoFormer-Sim跟SimBERT没什么明显差别，事实上它们主要的区别在于训练的细节上，我们可以用两个公式进行对比：除此之外，RoFormer-Sim用到了更多的训练数据...
SimBERT本身就是基于UniLM模型完成的，所以自然具备文本生成能力。2.3SimBERT的损失函数和训练流程SimBERT模型训练属于有监督学习任务，使用的训练数据是相似语句对，下面是训练数据样式：图3SimBERT训练数据格式
SimBERTv2来了！.融合检索和生成的RoFormer-Sim模型.去年我们放出了SimBERT[1]模型，它算是我们开源的比较成功的模型之一，获得了不少读者的认可。.简单来说，SimBERT是一个融生成和检索于一体的模型，可以用来作为句向量的一个比较高的baseline，也可以用来...
Bert-flow，Bert-flow出自论文《OntheSentenceEmbeddingsfromPre-trainedLanguageModels》，主要是利用流模型校正Bert的向量。Bert-whitening，用预训练Bert获得所有句子的向量，得到句子向量矩阵，然后通过一个线性变换把句子向量矩阵变为一个均值0，协方差矩阵为单位阵的矩阵。
NLPCDA——中文数据增强工具背景：针对一个文本，如何泛化处最相似的topK条文本？Github:NLPChineseDataAugmentation一键中文数据增强工具【给原作者点赞????】安装命令：pipinstallnlpcda个人认为，第9种方案：使用simbert进行相似句...
02半监督和自监督框架解决样本不均衡论文详解2.1论文介绍NeurIPS2020有一篇论文《RethinkingtheValueofLabelsforImprovingClass-ImbalancedLearning》提出了一种通用的半监督和自监督框架来解决样本不均衡问题。
前言预训练语言模型在目前的大部分nlp任务中做个微调都能取得不错的一个结果，但是很多场景下，我们可能没办法微调，例如文本聚类，我们更需要的是文本的向量表示；又亦如文本匹配，特别是实时搜索场景，当候选集数量较多时，直接使用ptm做匹配速度较慢。
在自然语言处理领域中，预训练语言模型（PretrainedLanguageModels）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新…最新的模型汇总地址github：https://github...
鱼与熊掌兼得：融合检索和生成的SimBERT模型.前段时间我们开放了一个名为SimBERT的模型权重，它是以Google开源的BERT模型为基础，基于微软的UniLM思想设计了融检索与生成于一体的任务，来进一步微调后得到的模型，所以它同时具备相似问生成和相似句检索...
基于SimBERT的相似文本生成感谢苏神开源的SimBERT，笔者先前简单尝试了SimBERT在相似文本生成的应用。同时结合nlpcda作者开源的代码，所以才有了博客中的demo：NLPCDA——中文数据增强工具。估计是标题不够高大上，或者大家不知道...
RoFormer-Sim是SimBERT的升级版，我们也可以通俗地称之为“SimBERTv2”，而SimBERT则默认是指旧版。从外部看，除了基础架构换成了RoFormer外，RoFormer-Sim跟SimBERT没什么明显差别，事实上它们主要的区别在于训练的细节上，我们可以用两个公式进行对比：除此之外，RoFormer-Sim用到了更多的训练数据...
SimBERT本身就是基于UniLM模型完成的，所以自然具备文本生成能力。2.3SimBERT的损失函数和训练流程SimBERT模型训练属于有监督学习任务，使用的训练数据是相似语句对，下面是训练数据样式：图3SimBERT训练数据格式
SimBERTv2来了！.融合检索和生成的RoFormer-Sim模型.去年我们放出了SimBERT[1]模型，它算是我们开源的比较成功的模型之一，获得了不少读者的认可。.简单来说，SimBERT是一个融生成和检索于一体的模型，可以用来作为句向量的一个比较高的baseline，也可以用来...
Bert-flow，Bert-flow出自论文《OntheSentenceEmbeddingsfromPre-trainedLanguageModels》，主要是利用流模型校正Bert的向量。Bert-whitening，用预训练Bert获得所有句子的向量，得到句子向量矩阵，然后通过一个线性变换把句子向量矩阵变为一个均值0，协方差矩阵为单位阵的矩阵。
NLPCDA——中文数据增强工具背景：针对一个文本，如何泛化处最相似的topK条文本？Github:NLPChineseDataAugmentation一键中文数据增强工具【给原作者点赞????】安装命令：pipinstallnlpcda个人认为，第9种方案：使用simbert进行相似句...
02半监督和自监督框架解决样本不均衡论文详解2.1论文介绍NeurIPS2020有一篇论文《RethinkingtheValueofLabelsforImprovingClass-ImbalancedLearning》提出了一种通用的半监督和自监督框架来解决样本不均衡问题。
前言预训练语言模型在目前的大部分nlp任务中做个微调都能取得不错的一个结果，但是很多场景下，我们可能没办法微调，例如文本聚类，我们更需要的是文本的向量表示；又亦如文本匹配，特别是实时搜索场景，当候选集数量较多时，直接使用ptm做匹配速度较慢。
在自然语言处理领域中，预训练语言模型（PretrainedLanguageModels）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型(感谢分享资源的大佬)，并将持续更新…最新的模型汇总地址github：https://github...
发表服务