发布时间：
论文地址： 看完MMoE后接着看这一篇，进一步加深对MMoE的理解 2020.2.18 9次。从19年9月出来后，不到半年能引用9次，算是相当不错了 同样没往arXiv上挂，中了19年9月的RecSys。同样是G家出品，来自YouTube那边，10个作者中英混合。一作 赵哲 PHD毕业于密歇根大学，和MMoE的一作马家祺一个学校的，本文是赵哲最近在google任research scientist完成的。 本文应用于YouTube的多目标排序系统。主要面对两个问题，第一个就是存在多个相互竞争的排序目标，第二个就是用户反馈中隐含了选择偏见。为了解决这些问题，本文用MMoE优化多目标排序，用W&D减轻选择偏见。 现实世界的大规模视频推荐系统存在的挑战，包括： 1 不同的有时甚至相互冲突的优化目标。例如除了观看之外，还希望推荐用户评价高并与朋友分享的视频。 2 系统中的隐式偏见。例如用户点击并播放一个视频可能是因为其排序靠前而不是用户真的最喜欢它。因此使用从当前系统生成的数据训练模型将产生偏差，从而导致反馈循环效应。 为了解决这些挑战，本文提出的模型如图1所示。它继承自Wide & Deep，采用了MMoE进行多任务学习。此外，还引入了一个浅层塔来消除选择偏差。 具体来说，首先将多个目标分为两组：1）互动目标，例如点击，与推荐视频的参与程度 2）满意度目标，例如点赞，评分。使用MMoE来学习多目标，混合专家架构将输入层模块化为专家，每一个聚焦于输入的不同方面。这提升了从多种模态生成的复杂特征空间学习到的表示。接着利用多门网络，每个目标选择专家来决定是否与其他专家共享。 为了消除偏差，提出了如图1左侧所示的浅层塔结构，它以与选择偏差相关的特征作为输入，例如排序顺序。输出是一个标量，作为主模型最终预测的一个偏置项。 本文主要贡献如下： 工业推荐系统的主要挑战是可扩展性。主要依赖隐式反馈。 举个例子，一个用故可能点击了一个item，最终却不喜欢它。用户仅仅对点击过或有交互过的item才能进行评分。 用户和当前系统会有选择偏差，例如，一个用户点击过一个item只是因为它被当前系统选出来了，即使它不是整个库中最有用的一个。因此，基于当前系统生成的数据来训练新模型会导致偏向当前系统，引起反馈循环效应。 《Evaluating the accuracy of implicit feedback from clicks and query reformulations in web search》这篇07年的文章最先分析了隐式反馈中的位置偏差和展现偏差。 一个最常用的实践是在训练时将位置作为模型的输入特征，在预测时将其移除。 除了之前提到的挑战，现实世界的大规模推荐系统还有如下因素需考虑： 采用多种候选生成算法，每一种作为查询视频和候选视频之间相似度的一方面。 排序系统学习两种类型的用户反馈：1）交互行为，例如点击和观看。2）满意度行为，例如点赞和退出。将排序问题建模为多目标分类问题和回归问题的组合。本文采用point-wise的方法，主要是出于性能的考虑，pair-wise和list-wise限制了系统的可扩展性。 为了描述方便，本文将所有目标分为两类：互动目标和满意度满标。互动目标包括点击和观看，将点击定义为二分类任务，将观看时长定义为回归任务。类似的，对于满意度目标，将是否喜欢视频定义为二分类任务，将打分定义为回归任务。分类任务用交叉熵损失，回归任务用平方损失。 对于每个候选，使用加权乘法形式的组合函数输出组合分数，这些权重是在考虑最佳用户互动和用户满意度之上手动调节的。 MMoE是一种软参数共享模型，其核心理念是用MoE层替代共享ReLu层，同时为每个任务增加一个单独的门网络。 本文提出增加的专家位于共享隐层之上，如图2b所示，这是因为MoE层能从输入中学习到模块化信息。当直接在输入层或较低的隐层使用时，可以更好地模拟多模态特征空间。然而，直接应用MoE层在输入层将显著增加模型的训练和预测成本，这通常是因为输入层的维度远高于隐层的维度。 公式这里基本上就照搬MMoE原作的公式了，值得注意的是，与Hilton等人在17年提出的稀疏门控网络（在该网络中，专家的数量可能很多，并且每个训练样本仅利用顶级专家）相反，本文使用的专家相对较少。这是因为为了鼓励通过多个门控网络来共享专家并提升训练效率。 在YouTube的排序系统中，查询是当前观看的视频，候选是相关的视频，用户通常会倾向点击并播放展示位于前列的视频，而忽略了他们本身真正的偏好，无论是与观看视频的相关性还是用户偏好来说都是这样。建模并消除选择偏差可以提升模型质量，并打破选择偏差带来的反馈循环问题。 本文模型采用类似Wide & Deep架构，将模型分为两个部分，主塔的用户效用部分和浅层塔的偏差部分。具体来说，用诸如位置特征等偏差特征训练浅层网络，之后将其与主模型相加作为最终的logit，如图3所示。 训练时，所有曝光位置的都使用，用10%的丢弃率丢弃改特征，以防止模型过度依赖位置特征。在serving时，位置特征被视为缺失。将位置特征与设备特征交叉的原因是，在不同类型的设备上观察到不同的位置偏差。 对于本文模型和基线模型，训练都是一直持续的。离线实验监控的指标是AUC和平方损失。在线实验做A/B测试，同时考虑serving时的性能开销。 如图2a所示，出于性能考虑，本文的MMoE层共享一个底层隐藏层，而不是直接共享输入层。 如表1所示。 如图5所示，绘制了每个任务每个专家在softmax门网络上的累积概率。可以看到一些互动任务同其他共享任务共享多个专家。而满意度任务倾向于共享一个小子集上的专家。 另外，本文也验证了直接在输入层上使用MMoE，发现在线实验结果与图2b相比并没有显著差异。 这一节介绍了MMoE的一个坑，hinton等人在17年的《Outrageously large neural networks: The sparsely-gated mixture-of-experts layer》指出softmax门网络会有不平衡的专家分布问题，即门网络闭合时专家上的多数值都为0。本文发现有20%的几率会出现这种极化现象。为解决该问题，在门网络上使用dropout，通过以10%的几率将专家的利用率设置为0并重新归一化softmax输出，本文消除了们门网络的极化问题。 如图6所示，位置越前CTR越高。在更前面更高的CTR综合了item是更相关的以及位置偏差的影响。 方法A：直接使用位置特征作为输入 方法B：对抗学习 本文感觉行文有点啰嗦，许多相同的话在不少地方重复。读这篇前一定要先读MMoE的原作，因为这篇基本上就是MMoE的应用，加了个偏置网络用来消除偏置，如果只有MMoE，这篇文章铁定发不出去。另外本文有不少小trick可以借鉴，比如MMoE的专家不能从太底层开始，比如训练时丢弃10%的偏差特征，比如用设备与位置做特征交叉等等。另外，从实验上来看，指标的相对提升也没有特别明显。 YouTube排序系统中的多目标问题和训练数据偏置问题 应用MMoE，和偏置网络分别解决，最后融合在一起 只在YouTube自己的数据上做了实验，给出的提升是相对提升，感觉不是很大 最后多目标分数的融合还是根据经验手调的 拿来主义，工程应用论文 MMoE论文笔记
Neural Collaborative Filtering vs. Matrix Factorization Revisited
这是一篇引起轰动的论文，motivation就是NCF[2]在推荐系统的引用量太高了(2427+)，作者通过实验与分析，说明 dot product在推荐系统的计算相似度任务里效果比MLP更好 ，大家别被带偏了。
Dot Product就是矩阵分解，
； 与 可以理解成user与item的embedding。
MLP是用神经网络计算，先随机初始化user与item的embedding，然后concat起来经过DNN学习得到偏好得分，
GMF是[2]提出的 与 的element-wise的加权Dot product，是矩阵分解的泛化版本。
NeuMF把embedding的一部分用来做MLP，一部分用来做GMF。
作者经过试验证明，经过调参的Dot product效果远好于MLP以及NCF提出的NeuMF(MLP+GMF)。
作者分析了，GMF引入了权重参数 ，如果L2正则化不加上 ，实际上学习没有任何效果；引入更多的参数，实际上需要更多数据来学习。
作者构造了一些Dot Prodcut的数据，用MLP去学习。
从实验结果中可以看出，MLP的学习误差非常大，RMSE大于0.02；说明如果问题的归纳偏置（induction bias，即问题的假设）是Dot Product的，MLP是不能很好地学习出来的。
作者举了几个例子，虽然MLP是万能模拟器，但是在很多领域是不能取代特定的归纳偏置的，比如CNN里的卷积、池化；RNN的参数共享；transformer结构等。在推荐系统里，可能归纳偏置就是Dot Product。 也可以看出，大部分情况下是从MLP往特定结构走，而不是往回走（再搞一个大新闻）。
思考： （1）看论文不可尽信，要有自己的思考，更要动手去实践。 （2）不要总想搞一个大新闻，要多思考问题的本质。
[1] Rendle, Steffen, et al. "Neural collaborative filtering vs. matrix factorization revisited." Fourteenth ACM Conference on Recommender Systems. 2020.
[2] He, X., Liao, L., Zhang, H., Nie, L., Hu, X., and Chua, T.-S. Neural collaborative filtering. In Proceedings of the 26th International Conference on World Wide Web (Republic and Canton of Geneva, Switzerland, 2017), WWW ’17, International World Wide Web Conferences Steering Commit- tee, pp. 173–182.
其实IEEE会议的投稿流程和一般的国际学术会议的投稿流程差不多的，都是先写中文搞，然后翻译成英文，再选择好所投会议，全官网里下载论文模板并按照模板调整好格式，然后直接通过Email投稿即可。当然部分会议不支持email投稿，但是会让你用esaychair投稿，这个投稿流程非常麻烦，全程都是英文，以上就是整个流程。如果你还是不懂，建议你百度搜下：EI学术会议中心，有详细投稿流程解释和EI会议的投稿知识，比较全面的。
大概是如果第三方要发表的话要经过IEEE同意。你自己不能投其他期刊但是IEEE可以决定是否可以允许其它期刊发表。实际上IEEE已收录的论文是不可以再发其他期刊的，但是可以稍作修改后发到IEEE所属相应的期刊上，投稿前注明在哪个会议上发表过。通过率会很大。
条件如下： 1论文字数不少于4000字。论文内容主要反映课题研究情况（包括研究目的、方法、主要观点及结论等）。 2、论文选题有需要与IEEE学术沙龙主题相关或者衍生相关。研究成果可以应用生产实践中，或者有一定的经济效益、社会效益及环保效益，并在科学理论、专业技术或研究方法上有创新。论文能体现出主题学科及相关领域扎实的理论基础，推理严密可信，数据真实可靠，表达清楚，图表准确规范。 3、作者必须保证论文及相关材料准确无误、真实可靠，IEEE+NCEPU分会进行将会对学术报告进行认真审核对格式排版混乱，涉嫌剽窃、抄袭、作弊等违反学术道德的不良行为的论文，将不予承认。
找导师，他负责注册。你负责写论文，然后发过去。不过，看你导师要不要注册了，看导师的人品，有时候导师要求高，不要会议论文的xxxx
美国期刊专家(AJE)助您成功发表国际学术论文
一、投稿前须充分了解目标期刊，找准期刊专业分为很多类，相应类别的期刊也有很多种，首先要对自己的专业有具体定位，同时也要把握目标期刊的大方向，即使是一学科，也有很多不同专业方向，选择期刊时，一定要看其是否与自己文章的研究领域一致。期刊通常分为普通期刊和核心期刊，按地域划分，也可分为省级期刊和国家级期刊，这些都可以按照自己的要求来选择。总而言之，投错期刊是非常低级的错误，即使文章写得再好，都无法顺利完成投稿，并给杂志社编辑增加了不必要的工作量。在投稿职称论文时，还要注意，中级职称常需要发表国家级期刊，高级职称则需要发表国家级期刊或是核心期刊，具体按要求而定，但一定要有区分。二、到正规期刊网站进行投稿期刊投稿的方式有很多种，可以直接与杂志社联系，或者给编辑发邮箱，或找专业期刊网站进行投稿。通常大家想到的第一方式就是直接和杂志社联系，但是个人与杂志社联系，若遇到杂志社稿件太多的情况，尤其是期刊投稿的旺季，很容易导致迟迟等不到杂志社的回信而错过投稿时间。随着我国学术研究的发展，在期刊上投稿发表文章，成为我国学者学术交流研究的重要方式，研究工作者数量极其庞大，而期刊的数量和版面都是有限的，没有专业人士的协助，期刊投稿还是有一难度的。即使是认识杂志社编辑，直接给编辑发邮箱，也会遇到编辑无法及时回复的情况，如果时间充足，且对期刊投稿又比较熟悉的朋友，可以考虑选择这两种。有其他情况或者有特殊要求的朋友，可以找专业的期刊投稿网站进行投稿发表，专业的期刊网站一般都与杂志社有合作，可以开启绿色投稿通道，但是这里就要注意鉴别期刊网站的正规性了。可以从期刊网站的业务能力上判断，期刊投稿设计多个流程，而在期刊网站上投稿，因为期刊网站掌握的资源相对丰富，这些流程是可以适当缩短的。但是仅靠这一点也不能完全判断其正规性，还可以从是否能发表核心期刊上判断。总所周知，核心期刊发表周期最长，发表难度也是最大，那些一上来就信誓旦旦保证核心期刊都可以发表的网站，需要大家更谨慎对待。还有就是，期刊网站推荐的期刊是否都是正规期刊，这个很容易，大家可以去国家新闻出版广电总局官网上查询，看是否为正规期刊。总之，正规期刊网站是随时可以告知投稿进度的，并且对于期刊投稿也是秉持严谨的态度，若在交流时发现对方语气十分保证的，都需要质疑其真实性。三、随时了解投稿进度，留意相关消息很多朋友在投出期刊后，就完全松懈，只等着别人打电话来回复，杂志社通常是以电子邮件的方式进行回复，不论是投稿成功或失败，或是需要修改，都会给出相关意见，一定要留意，不是稿件投出去了就万事大吉，期刊投稿本就是一个周期较长的事，一定要有耐心。如果编辑对稿件出具了修改意见，一定要认真参考后再修改，这样投稿成功的几率才会更大。
个人发表论文的渠道无非就两种，第一种是自己投稿发表，第二种是需要中介代理投稿。两种方式各有利弊，可以根据自身需求来选择。第一种自己投稿发表，比较适合自己有投稿经验的朋友，时间相对比较宽裕，一般自己投稿建议提前1年以上的时间准备。对知网和数据库有一定了解和操作基础。有以上条件的话 相对自己投稿是比较顺利的第二种中介代理投稿，比较适合着急发表的朋友，因为可以根据你的需求快速的确定符合你条件的期刊，会省去大量的时间。不过因为机构参差不齐，导致很多不法分子在其中坑蒙拐，所以需要鉴别真伪的能力。和对期刊鉴别真刊方法。
如何在国外电子平台上出版英文论文？1. 投稿：一般情况下，你想在电子出版平台上出版文章或者论文，首先你得在该出版平台上注册，写清楚邮箱和电话等联系方式很重要，这便于你投稿，以及和出版社工作人员沟通。 同时，在投稿之前，你得写好你的稿件，稿件质量很重要，不然很难通过审核。 其次，选择投递的期刊名称，这个就属于对你自己的文章的一个定位了，投递方向正确了，审核才能顺利进行。 2. 审稿和修改：在你的稿件成功投递之后，会有专业的审稿人对你的稿件进行审核，审核内容包括稿件的标题、单位信息，摘要，关键词，内容、字数、参考文献，及文章质量等。等到确认你的文章在这些方面，没有什么大问题，可以经过简单的修改就可以出版。如果有问题，你需要根据审稿人的要求进行修改，经过修改的文章，最终确定没有问题，就可以着手出版了。 3. 出版：一般在稿件修改完成以后，出版平台会进行一个最终的排版，然后跟你做最后确认一次来定稿，没有什么问题就可以出版了，当然，出版之前，你得支付出版费用。一般情况下，费用会根据出版平台、稿件字数和内容等的不同，而不 同。比如一些国际性的大出版社，一般的费用就在1600美金左右，多的高达3000美金。其他一些收费没有那么贵的，也就400美金左右。 4. 增值服务：一般在电子出版平台出版书刊后，会给客户提供一定的增值服务。比如Science Publishing Group 这个平台，客户在这个平台出版书刊以后，可以免费阅读和下载这个平台的英文文献和资料，同时也可以转载或者分享自己的作品到自己的社交平台等。不管是什么样的增值服务，对投稿人来说，都是有益的。总之，在这个互联网时代，选择电子出版，比选择传统的出版，多了一些便利、快捷，同时也最大限度的分享知识。若可能，你的文章或者其他作品，会分享给世界各地有需求的人，并且长久的保存下来。
期刊上发表论文，适合有文章需要发表、但是对投稿一头雾水无从下手的作者，无论是准备自投还是找中介代发，话不多说，下面干货。发表论文的整个流程，简单概括就是：定稿-选择期刊-审核-通过/返修-支付费用-定版-排版校对-印刷-出刊邮寄-上传数据库接下来按照步骤详细说说每个发表环节以及注意事项。定稿：其实就是写论文，这个我也不是专业的，所以不多说，仅从发表的角度简单说几句。1.关于论文主题：如果你的文章是准备用来发表的，尤其是准备投稿普刊，那么有些选题千万不要碰，比如港ao台、疫情、涉党涉政、宗教、神学、封jian迷xin、校园bao力等等，不要问为什么，这类主题写了大概率发表不出去！即便有收的，审核也严格，论文内容不能有不适合刊登的点。总之，发表论文不要只知道埋头苦写，动笔之前先去问问某个主题能不能发、好不好发，不能发、不好发就尽量不要写。2.关于语言逻辑：普刊在大家眼里通常就是要求低，但是要求低不等于没有要求！！文章内容如何就不说了，最起码得是篇论文吧，不能语病、错字一堆，不能毫无逻辑、前言不搭后语，不能让人不知所云，不能过于口语化......所以论文写好后建议自己先通读一遍，如果自己看不出毛病，就找同学、同事、朋友随便谁帮你看看，毕竟一篇连语言基本功都有问题的论文，即便内容写得再好，又有谁愿意看？3.关于起发字符、重复率：现在基本所有正规学术期刊都是5000字符左右/3版起发，能够2版起发的很少，即便遇到了也建议发3版，因为2版的文章后续存在被要求整改的可能。至于重复率，每个期刊的要求不一样，从10%到30%都有，有的期刊审核的时候会查重，有的则文责自负（即万一后续数据库抽查发现重复率过高而导致论文被下架，作者自己负责），这种的就建议自己提前查下，那些杂志社会查重的，如果对自己论文没把握的（特别是复制较多的），也建议提前查下，之前遇到个作者论文审核的时候查重结果直接七八十，这种就很尴尬了，这让编辑怎么想？选择期刊：我个人认为这是发表论文最重要的一个环节，这个说起来很简单，做起来其实很难，很耗费精力和时间。选择期刊分为两步——第一步，大家务必要先弄清楚自己对期刊的要求，尤其是因为评职称、评奖学金、保研等这些原因需要发表论文的，一定要先去看看学校、单位对期刊的具体要求是什么，比如期刊等级，是要普刊、学报还是核心？是不是非知网收录的期刊不可？最晚什么时候需要提交评审材料
在日常生活中,无论是评职称还是大学生毕业都离不开发表论文.在公开发行的学术期刊上发表论文,成为职称评选硬性条件之一,可以说发表论文,在职称评审中占据非常重要的作用.下面学术堂就来简单的说一下如何凭借个人经验发表论文.发表论文首先需要写一篇好的论文,论文不光主题鲜明,论点创新,还应该结构严谨,层次分明.与此同时,还应该注意论文标准格式、文句通顺,确保论文通过审核.发表论文流程主要包括以下几方面.根据杂志办刊盘方向以及办刊宗旨,确定要发表的刊物.然后投稿到杂志社邮箱,杂志社审稿录用排版印刷,到最后出版发行.如果稿件有问题会出现两种情况出现退稿与返修.返修的稿件要求整理好发回杂志社.觉得注意的是杂志社审稿在一周到一年不等根据杂志社实际情况来定排班时间在一周左右交稿三天左右印刷七到十天左右发行时间为一周左右.在进行发表期刊论文的过程中,要根据自己的实际情况选择合理的时间进行发表.个人如何发表论文.1、发表论文的重要性.不同的人发表论文的作用也不同:(1)评职称(晋升职称):研究生 毕业需要;教师 、医护人员 、科研院所的人员、企业员工 等 晋升高一级的职称时,发表期刊论文是作为一项必须的参考指标.(2)申报基金、课题 :教育、科技、卫生系统 每年申报的国家自然科学基金项目、其它各种基金项目、各种研究课题时,发表论文 是作为 基金或课题 完成的一种研究成果的结论性展示.(3)世界性基础领域的研究,比如在医学、数字、物理、化学、生命科学 等领域开展的基础性研究,公开发表论文 是对最新科技 科学研究成果、研究方法的一种展示和报道.以推动整个社会的科技进步等.(4)提升自身竞争力:本科生和研究生在校期间发表具有一定水准的论文,有助于提升个人学术素养,进入社会,也可能会有更高的起点.2、发布论文的流程.(1)确定自己的研究课题,验证其写作价值,如果具有一定价值,就着手开始筹备论文,第一次发表论文,可以多向前辈请教,多查阅一些资料文献,在前人的基础上寻找突破口,选题立意要新颖实用,不要为了写论文而写论文.(2)论文经过多次修改完善以后,接下来我们就可以准备发表论文,发表论文第一步就是要选择对应的期刊,如果稿件投向不合适的期刊可能会遭遇退稿和不公正评判.如何选择合适的期刊?在知网或其他数据库中检索本篇论文相关领域的期刊,查看期刊级别以及刊物号等,确保其为正规期刊,然后阅读其刊登发表过的论文,看自己的论文是否适合在这些期刊上发表,从中挑出2-3个期刊作为备选,进一步了解这些刊物的审稿周期、投稿费用、投稿要求等,从中选出将要投稿的1个期刊,联系期刊编辑将自己的稿件投递过去,然后等待审稿人员的回复.
（1）在知网上注册账户，然后找到合适的刊物页面，在页面右上角有投稿图表，直接投稿即可。（2）除了在知网水投稿，如果你时间比较着急的话，你也可以找一些靠谱的论文代理机构投稿，会比你自己投稿快一些，但费用也贵一些。比如像淘淘论文网这种。这个渠道可以作为备选，以备不时之需。
现在的期刊投稿很容易的，注意不要一稿多投，选择最有优势的期刊投石问路一下，等待结果，录用最好，没有种地就另投一家，祝你好运！坚持就是胜利！
发期刊论文的步骤如下：
1、写作
首先要写好一篇论文，选题要与专业、研究方向密切相关，论文的格式要规范，应包括题目、作者、内容摘要、关键词、正文等；论文篇幅不宜过长，因为期刊版面的字符数是固定的，字符数越多，相应的费用就会越高；最后还要注意控制重复率，一般期刊要5%-20%以下才合格录用。
2、选刊
选择一本合适的期刊进行投稿，是成功发表论文极其关键的一步，要遵循几个原则：国家新闻出版署能查到的正规期刊；知网、万方、维普、龙源四大数据库之一正常收录的期刊；符合学校、单位要求的期刊；论文是否符合期刊的收稿范围，避免因为文章方向不合适出现拒稿的情况。
3、投稿
投稿的途径有两种，一是通过杂志社邮箱，官网或者在线系统投稿。（注意：数据库和期刊的目录页上面的联系方式才是准确的），虽然这种方式完全不用担心，但缺点是审稿时间较长，沟通不及时，无法了解期刊最新出刊时间，费用，收稿要求等等。
二是是找代理投稿。这个方法也是现在大多数人用的要给方法，为什么会这样的，我只能说谁用谁知道。这个是最简单最省事儿的。以前我就是找的一个文化公司安排文章，服务没得说，只需要提供文章，剩余的事情全由他们搞定。
普通人要在专业期刊上面发表文章的话，必须找到自己的推荐人。如果没有自己的推荐人的话，即使你的文章再优秀也是没有办法发表的。
论文不是随便能发的，发论文是需要花钱的。就像看别人的论文一样，也是需要花钱的。毕竟，这是别人的劳动成果。还有就是各大网站也需要运营费用的。也需要文字编辑，把你的论文发表到网上去。所以也是需要花钱的。