排序算法动态演示系统毕业论文

PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，如下图： 按照论文的思路，我们也从上往下来看这个网络结构： 输出层 输出层很简单，将上一层的网络输出通过一个全链接层，经过sigmoid函数转换后映射到(0,1)的区间中，得到我们的点击率的预测值：                      l2层 根据l1层的输出，经一个全链接层 ，并使用relu进行激活，得到我们l2的输出结果：                      l1层 l1层的输出由如下的公式计算：                      重点马上就要来了，我们可以看到在得到l1层输出时，我们输入了三部分，分别是lz，lp 和 b1，b1是我们的偏置项，这里可以先不管。lz和lp的计算就是PNN的精华所在了。我们慢慢道来: Product Layer product思想来源于，在ctr预估中，认为特征之间的关系更多是一种and“且”的关系，而非add"加”的关系。例如，性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群，前者的组合比后者更能体现特征交叉的意义。 product layer可以分成两个部分，一部分是线性部分lz，一部分是非线性部分lp。二者的形式如下：                                           在这里，我们要使用到论文中所定义的一种运算方式，其实就是矩阵的点乘啦：                      Embedding Layer Embedding Layer跟DeepFM中相同，将每一个field的特征转换成同样长度的向量，这里用f来表示。                      损失函数 使用和逻辑回归同样的损失函数，如下：                      前面提到了，product layer可以分成两个部分，一部分是线性部分lz，一部分是非线性部分lp。看product layer的公式，我们首先需要知道z和p，这都是由我们的embedding层得到的，其中z是线性信号向量，因此我们直接用embedding层得到：                      论文中使用的等号加一个三角形，其实就是相等的意思，你可以认为z就是embedding层的复制。 对于p来说，这里需要一个公式进行映射：                                            不同的g的选择使得我们有了两种PNN的计算方法，一种叫做Inner PNN，简称IPNN，一种叫做Outer PNN，简称OPNN。 接下来，我们分别来具体介绍这两种形式的PNN模型，由于涉及到复杂度的分析，所以我们这里先定义Embedding的大小为M，field的大小为N，而lz和lp的长度为D1。 IPNN的示意图如下： IPNN中p的计算方式如下，即使用内积来代表 ：                      所以， 其实是一个数，得到一个 的时间复杂度为M，p的大小为N*N，因此计算得到p的时间复杂度为N*N*M。而再由p得到lp的时间复杂度是N*N*D1。因此 对于IPNN来说，总的时间复杂度为N*N(D1+M)。文章对这一结构进行了优化，可以看到，我们的p是一个对称矩阵，因此我们的权重也可以是一个对称矩阵，对称矩阵就可以进行如下的分解：                      因此：                                           因此：                      从而得到：                      可以看到，我们的权重只需要D1 * N就可以了，时间复杂度也变为了D1*M*N。 2.2 OPNN OPNN的示意图如下： OPNN中p的计算方式如下：                      此时 为M*M的矩阵，计算一个 的时间复杂度为M*M，而p是N*N*M*M的矩阵，因此计算p的事件复杂度为N*N*M*M。从而计算lp的时间复杂度变为D1 * N*N*M*M。这个显然代价很高的。为了减少负责度，论文使用了叠加的思想，它重新定义了p矩阵：                      这里计算p的时间复杂度变为了D1*M*(M+N) 论文： Product-based Neural Networks for User Response Prediction 推荐系统中使用ctr排序的f(x)的设计-dnn篇之PNN模型 推荐系统遇上深度学习(六)--PNN模型理论和实践 推荐好文：  深度学习在CTR预估中的应用

在计算广告和推荐系统中，CTR预估(click-through rate)是非常重要的一个环节，判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进行CTR预估时，除了单特征外，往往要对特征进行组合。对于特征组合来说，业界常用的方法有人工特征工程 + LR（Logistic Regression）、GBDT（Gradient Boosting Decision Tree） + LR、FM（Factorization Machine）和FFM（Field-aware Factorization Machine）模型。最近几年也出现了很多基于FM改进的方法，如deepFM，FNN，PNN，DCN，xDeepFM等。 FM(Factorization Machine)主要是为了解决数据稀疏的情况下，特征怎样组合的问题。已一个广告分类的问题为例，根据用户与广告位的一些特征，来预测用户是否会点击广告。数据如下：(本例来自美团技术团队分享的paper) clicked是分类值，表明用户有没有点击该广告。1表示点击，0表示未点击。而country,day,ad_type则是对应的特征。对于这种categorical特征，一般都是进行one-hot编码处理。 将上面的数据进行one-hot编码以后，就变成了下面这样 ： 因为是categorical特征，所以经过one-hot编码以后，不可避免的样本的数据就变得很稀疏。举个非常简单的例子，假设淘宝或者京东上的item为100万，如果对item这个维度进行one-hot编码，光这一个维度数据的稀疏度就是百万分之一。由此可见， 数据的稀疏性 ，是我们在实际应用场景中面临的一个非常常见的挑战与问题。 one-hot编码带来的另一个问题是 特征空间变大 。同样以上面淘宝上的item为例，将item进行one-hot编码以后，样本空间有一个categorical变为了百万维的数值特征，特征空间一下子暴增一百万。所以大厂动不动上亿维度，就是这么来的。 普通的线性模型，我们都是将各个特征独立考虑的，并没有考虑到特征与特征之间的相互关系。但实际上，大量的特征之间是有关联的。最简单的以电商为例，一般女性用户看化妆品服装之类的广告比较多，而男性更青睐各种球类装备。那很明显，女性这个特征与化妆品类服装类商品有很大的关联性，男性这个特征与球类装备的关联性更为密切。如果我们能将这些有关联的特征找出来，显然是很有意义的。 一般的线性模型为：                       从上面的式子很容易看出，一般的线性模型压根没有考虑特征间的关联。为了表述特征间的相关性，我们采用多项式模型。在多项式模型中，特征 与 的组合用 表示。为了简单起见，我们讨论二阶多项式模型。具体的模型表达式如下： 为了简单起见，我们只考虑二阶交叉的情况，具体的模型如下：                       式中， 表示样本的特征数量, 表示第 个特征，与线性模型相比，FM的模型就多了后面特征组合的部分。 从FM公式可以看出，组合特征的参数一共有 n(n−1)/2个，任意两个参数都是独立的。然而，在数据稀疏性普遍存在的实际应用场景中，二次项参数的训练是很困难的。其原因是，每个参数 的训练需要大量 和 都非零的样本；由于样本数据本来就比较稀疏，满足 和 都非零”的样本将会非常少。训练样本的不足，很容易导致参数  不准确，最终将严重影响模型的性能。 那么，如何解决二次项参数的训练问题呢？矩阵分解提供了一种解决思路。在model-based的协同过滤中，一个rating矩阵可以分解为user矩阵和item矩阵，每个user和item都可以采用一个隐向量表示。比如在下图中的例子中，我们把每个user表示成一个二维向量，同时把每个item表示成一个二维向量，两个向量的点积就是矩阵中user对item的打分。 类似地，所有二次项参数 可以组成一个对称阵 （为了方便说明FM的由来，对角元素可以设置为正实数），那么这个矩阵就可以分解为 ， 的第 列便是第 维特征的隐向量。换句话说，每个参数 ，这就是FM模型的核心思想。因此，FM的模型方程为（本文不讨论FM的高阶形式）                      其中， 是第 维特征的隐向量， 代表向量点积。隐向量的长度为 ，二次项的参数数量减少为 个，远少于多项式模型的参数数量。另外，参数因子化使得 的参数和 的参数不再是相互独立的，因此我们可以在样本稀疏的情况下相对合理地估计FM的二次项参数。具体来说， 和 的系数分别为 和 ，它们之间有共同项 。也就是说，所有包含“ 的非零组合特征”（存在某个 ，使得 ）的样本都可以用来学习隐向量 vivi，这很大程度上避免了数据稀疏性造成的影响。而在多项式模型中， 和 是相互独立的。 显而易见，FM的模型公式是一个通用的拟合方程，可以采用不同的损失函数用于解决回归、二元分类等问题，比如可以采用MSE（Mean Square Error）损失函数来求解回归问题，也可以采用Hinge/Cross-Entropy损失来求解分类问题。当然，在进行二元分类时，FM的输出需要经过sigmoid变换，这与Logistic回归是一样的。直观上看，FM的复杂度是 。但是，通过下面的等式，FM的二次项可以化简，其复杂度可以优化到  。由此可见，FM可以在线性时间对新样本作出预测。                              我们再来看一下FM的训练复杂度，利用SGD（Stochastic Gradient Descent）训练模型。模型各个参数的梯度如下： 其中， 是隐向量 的第 个元素。由于 只与 有关，而与 无关，在每次迭代过程中，只需计算一次所有 的 ，就能够方便地得到所有 的梯度。显然，计算所有 的 的复杂度是 ；已知 时，计算每个参数梯度的复杂度是 ；得到梯度后，更新每个参数的复杂度是 ；模型参数一共有 个。因此，FM参数训练的复杂度也是 。综上可知，FM可以在线性时间训练和预测，是一种非常高效的模型。 libFM 论文： Factorization Machines 论文： Factorization Machines with Follow-The-Regularized-Leader for CTR prediction in Display Advertising 推荐系统遇上深度学习(一)--FM模型理论和实践 FM（Factorization Machines）的理论与实践 深入FFM原理与实践-美团 推荐好文：  深度学习在CTR预估中的应用

我有B/S架构的人事管理系统 毕业论文

基于asp语言的测试项目学生信息管理系统的设计与实现基于ASP.NET的社区人口管理系统 基于ASP.NET的课程教学网站设计公司会议网站C#高校工资管理系统C#在线点歌系统《数据库原理》精品课程网站设计教师住房管理系统《计算机网络》学习网站的设计与实现《模式识别》精品课程网站的设计与实现asp个人博客asp网上书店微型计算机学习网站的设计与实现成绩分析系统的设计与实现宠物管理系统基于3G通信的视频医药系统设计基于web的图书馆图书信息查询系统离散数学网上教学系统企业进销存管理系统分析与设计人力资源管理信息系统学生作业管理系统社区论坛在线课题系统《数据库技术及应用》精品课程建设网站职业中介信息管理系统自来水收费管理系统会员制漫画店(连锁)管理系统基于CSCW的大学生就业平台基于WEB方式的视频监控系统设计与开发旅游网站健康网站的设计与实现新闻管理系统设计与实现工会信息发布系统的设计与开发模式识别与智能研究所网站互联网计费系统C#毕业生信息管理就业招聘系统体育用品在线商店系统网站群信息管理系统员工绩效考核系统学生档案信息管理C#基于ASP.NET技术的动态IT培训网站的设计与实现《软件测试技术》精品课程网站的建设与开发网上二手房交易系统设计与实现ASP131企业进销存管理系统ASP C语言教学系统+论文ASP（交友录）asp+SQLServer网上书店系统＋论文ASP+sql精品在线试题库设计+论文ASP+SQL图书管理系统＋论文