发表服务
本文讨论了预训练(pre-training)和自训练(self-training)在一些计算机视觉任务(主要是目标检测和语义分割)上的作用。先解释一下自训练(self-training)的原理，以noisystudentnet为例：首先使用有标…
在我看来，这篇论文提出了许多关于self-training和pre-training的基本问题。正如Paper所述：Pre-training在多大程度上有帮助？什么时候Pre-training没用？我们是否可以用Self-training来代替，并取得与Pre-training和Self-training相似或更好的结果？
本周论文分享一篇来自视觉领域三个大神何凯明，RossGirshick和PiotrDollar合作的文章《RethinkingImageNetPre-training》。在视觉任务中使用在ImageNet数据集上预训练的模型似乎已经成为一种标配，并且也确…
AsymmetricTri-trainingforUnsupervisedDomainAdaptation(2017ICML)论文笔记AbstractTri-training(周志华，2005,无监督学习领域最经典、知名度最高的做法)利用三个分类器按照“少数服从多数”的原则来为无标签的数据生成伪标签，但这种方法不适用于无标签的目标域与有标签的源数据不同的情况。
quantizationawaretraining技术来源于上面这篇论文，现在在tensorflow和pytorch中都提供了相应的接口。作者在本文中提供了一种将float32量化到int8的策略，并给出了一个推断框架和训练框架，推断框架让模型可以有效的整数运算硬件上运行，训练框架和推断框架相辅相成，可以降低精度的损失。
在论文《Accurate,LargeMinibatchSGD:TrainingImageNetin1Hour》中，作者实验的最大BatchSize为8192。然而在这篇论文中，作者使用更大的初始BatchSize（最大尝试到65536）对ImageNet进行训练，并且在固定的轮数对Noise做Decay（增加Batch
[论文简析]RethinkingPre-trainingandSelf-training[2006.06882]秋刀鱼的炼丹工坊576播放·2弹幕台大李宏毅21年机器学习课程self-attention和transformer爱学习的凉饭爷5.2万播放·941弹幕[中英双字]GPT-3论文解读...
最近在阅读ACL中文文本纠错论文的时候，发现了这篇论文：CorrectingChineseSpellingErrorswithPhoneticPre-training。该论文构建了一套端到端的中文文本纠错模型，包括构建预训练语言模型以及在下…
机器学习教程之半监督学习Tri-training方法(论文、数据集、代码)最近因为项目需要研究了一下半监督学习，稍经了解以后发现当存在大量未标签数据时，这确实是一种非常好用的方法，可以很好的提升分类精度。.这里介绍一下周志华教授的Tri-triaining方法，在...
RethinkingPre-trainingandSelf-training论文解读（视频）.对于下游任务比如CoCo物体检测或Pascal语义分割等，首先用有标注数据随机初始化训练模型，接着用训好的模型在比如ImageNet数据集上生成伪标签（物体检测任务就是生成伪包围框和物体类别，分割就是生成...
本文讨论了预训练(pre-training)和自训练(self-training)在一些计算机视觉任务(主要是目标检测和语义分割)上的作用。先解释一下自训练(self-training)的原理，以noisystudentnet为例：首先使用有标…
在我看来，这篇论文提出了许多关于self-training和pre-training的基本问题。正如Paper所述：Pre-training在多大程度上有帮助？什么时候Pre-training没用？我们是否可以用Self-training来代替，并取得与Pre-training和Self-training相似或更好的结果？
本周论文分享一篇来自视觉领域三个大神何凯明，RossGirshick和PiotrDollar合作的文章《RethinkingImageNetPre-training》。在视觉任务中使用在ImageNet数据集上预训练的模型似乎已经成为一种标配，并且也确…
AsymmetricTri-trainingforUnsupervisedDomainAdaptation(2017ICML)论文笔记AbstractTri-training(周志华，2005,无监督学习领域最经典、知名度最高的做法)利用三个分类器按照“少数服从多数”的原则来为无标签的数据生成伪标签，但这种方法不适用于无标签的目标域与有标签的源数据不同的情况。
quantizationawaretraining技术来源于上面这篇论文，现在在tensorflow和pytorch中都提供了相应的接口。作者在本文中提供了一种将float32量化到int8的策略，并给出了一个推断框架和训练框架，推断框架让模型可以有效的整数运算硬件上运行，训练框架和推断框架相辅相成，可以降低精度的损失。
在论文《Accurate,LargeMinibatchSGD:TrainingImageNetin1Hour》中，作者实验的最大BatchSize为8192。然而在这篇论文中，作者使用更大的初始BatchSize（最大尝试到65536）对ImageNet进行训练，并且在固定的轮数对Noise做Decay（增加Batch
[论文简析]RethinkingPre-trainingandSelf-training[2006.06882]秋刀鱼的炼丹工坊576播放·2弹幕台大李宏毅21年机器学习课程self-attention和transformer爱学习的凉饭爷5.2万播放·941弹幕[中英双字]GPT-3论文解读...
最近在阅读ACL中文文本纠错论文的时候，发现了这篇论文：CorrectingChineseSpellingErrorswithPhoneticPre-training。该论文构建了一套端到端的中文文本纠错模型，包括构建预训练语言模型以及在下…
机器学习教程之半监督学习Tri-training方法(论文、数据集、代码)最近因为项目需要研究了一下半监督学习，稍经了解以后发现当存在大量未标签数据时，这确实是一种非常好用的方法，可以很好的提升分类精度。.这里介绍一下周志华教授的Tri-triaining方法，在...
RethinkingPre-trainingandSelf-training论文解读（视频）.对于下游任务比如CoCo物体检测或Pascal语义分割等，首先用有标注数据随机初始化训练模型，接着用训好的模型在比如ImageNet数据集上生成伪标签（物体检测任务就是生成伪包围框和物体类别，分割就是生成...
发表服务