rnn论文格式

论文《Recurrent neural network based language model》简称RNNLM，作者Tomas Mikolov，经典的循环/递归神经语言模型。 提出了一种新的基于递归神经网络的语言模型(RNN LM)及其在语音识别中的应用。 结果表明，与现有的退避语言模型相比，通过使用几个RNN LMs的混合，可以获得大约50%的困惑减少。 语音识别实验表明，当比较针对相同数据量训练的模型时，“华尔街日报”任务的单词错误率降低约18%，而在难度更大的NIST RT05任务上，即使退避模型训练的数据量比RNN LM多得多，单词错误率也减少约5%。 我们提供了充足的经验证据，以表明连接主义语言模型优于标准的n-gram技术，除了它们的高计算(训练)复杂性。 在我们的工作中，我们使用了一种通常被称为简单的递归神经网络或Elman网络的架构。这可能是递归神经网络的最简单的可能版本，并且非常容易实现和训练。 网络具有输入层 、隐藏层 (也称为上下文层或状态)和输出层 。对网络的时间t的输入是 ，输出表示为 ，并且 是网络的状态(隐藏层)。输入向量 是通过连接表示当前单词的向量 而形成的，并且在时间 从上下文层 中的神经元输出。然后，输入、隐藏和输出层被计算如下：其中 是S型激活函数：并且 是softmax函数：对于初始化，可以将 设置为小值的向量，如0.1-当处理大量数据时，初始化并不重要。 在接下来的时间步长中， 是 的副本。输入向量 表示使用1-of-N编码和先前上下文层编码的时间 中的字-向量 的大小等于词汇表V的大小(实际上可以是30000−200000)加上上下文层的大小。上下文(隐藏)层的大小通常是30−500个隐藏单元。 基于我们的实验，隐藏层的大小应该反映训练数据量-对于大量的数据，需要大的隐藏层。 把上面的形式写成向量形式：

论文： 题目:《A Contextualized Temporal Attention Mechanism for Sequential Recommendation》 地址： 序列推荐任务很少使用时间和上下文信息对h(h就是rnn，gru等序列建模网络输出的状态)进行加权，www这篇论文融合了上下文和时间信息的加权信号，一起看看吧，虽然笔者觉得这篇论文非常笨重。。 这篇论文的背景其实可以放在sequence recommendation任务中去看待，根据历史记录中用户的先后行为来预测用户的偏好对于现代推荐系统而言具有挑战性且至关重要。现有的大多数序列推荐算法都将重点放在顺序动作之间的传递结构上，但是在对历史事件对当前预测的影响进行建模时，很大程度上会忽略时间和上下文信息。 论文认为，过去事件对用户当前动作的影响应随时间推移以及在不同背景下发生变化。因此，我们提出了一个基于上下文和时间的注意机制，该机制可以学会权衡历史行为对行为的影响，不仅影响行为是什么，而且还影响行为发生的时间和方式。更具体地说，为了动态地校准自注意机制的相对输入依存关系，我们设计了多个参数化的核函数来学习各种时间动态，然后使用上下文信息来确定对每个输入遵循哪些weight kernel函数。 上面的说法可能有点晦涩难懂，下面结合一张图来描述一下以上图中所示的在线购物场景为例：系统获得了一系列用户行为记录，并且需要推荐下一组商品。 我们应该注意，在此场景中，我们假设这些交互行为不是彼此独立的， 这更好地反映了推荐系统只能访问脱机数据和部分用户行为记录的情况。好了，接着看上图中的场景，用户在过去的一段时间内点击来网球拍，手机，运动鞋，智能手环，然后在昨天一直在浏览手机，那么这个时候我们需要预估用户的下一次点击，这个时候的用户正想买一个手表，那么这个时候系统是给用户推荐运动手表呢，还是推荐电子手表呢，因为用户过去的浏览有运动类的物品和智能设备的物品。 按照时间的分段性来看：长期的历史记录表明用户对购物体育相关产品感兴趣。 现在，用户正在寻找手表，该系统可以推荐一些运动手表。 从本质上讲，长期的用户历史记录通常可能会携带稀少但至关重要的用户偏好信息，影响着现在的意图，而最近的交互操作应该会更能代表用户在将来的意图。 按上下文细分：由于用户仔细浏览几个智能手机（比平均时间间隔短得多的时间间隔），因此可以认为这些物品跟当前用户的偏爱非常相关，因此智能手表可能比传统手表更受青睐。 通常，用户浏览日志的某些时间段可能看起来是异构的，这个时间段里面充满了用户的短期兴趣偏好，用户在这个时间点上会以重复的方式专注于一小部分同类物品。 很容易理解，时间因素可以理解为用户的长期兴趣偏好，即使在很遥远的历史，也会对现在的兴趣产生影响，上下文偏好可以理解为用户的短期兴趣偏好，也就是用户在近期浏览的物品表征了用户现在的短期意图。说白了就是对用户进行长短期兴趣建模。 本来不想说这三个问题的，无奈部分论文说的太抽象了，或许是越抽象越容易中稿？ 说实话这篇论文在解释时间跟上下文关系的时候说的太晦涩难懂了，笔者看的也是很头疼，比如下面这段话： 首先，我们看第一个问题，我的理解就是用self-attention进行序列建模，第二个就是确定时间因素和上下文因素的影响，第三个就是综合考虑时间和上下文的影响。 还是直接看模型吧，扯一堆什么因果关系看得头大：用户空间 U ，大小为U；物品空间 V ，大小为V。 用户的历史行为序列为{ },其中 ={( , ), ( , ) , ... },其中 用户u的交互时间， 代表交互的物品。 模型的输入为包括窗口大小为L的用户历史记录:{ ( ) i: 0 -> L},当前需要推荐的时间戳 ,输入序列的embedding X表示： 同时将输入序列的时间信息使用时间戳差来表示： 模型整体上分为三个部分：content-based attention，temporal kernels和contextualized mixture 三层模型可以表示为： 其中， 根据content X来计算每个输入的权重，输出权重序列α ∈ ； 将时间信息 T 通过K temporal kernels计算每个输入的temporal权重β ∈ ； 从 X 中提取context信息，并结合前两个阶段获得的α 和β 来计算得到最终的contextualized temporal权重γ ∈ 。 最终被推荐的物品的表示为： 其中，F-out是一个feed-forward层。 这里用到的是self-attention机制，具体的细节不在赘述，只需要知道结果输出就行：其中  表示最后一个物品的输入embedding，其实就是用最后一个物品的embedding作为key，self-attention最后一层的状态 作为query来计算 的。 基于观察：用户随意浏览的物品对短期的影响会急剧下降，但是在长期来说仍有着重要的作用。用户仔细浏览过的物品对用户短期的兴趣有着重要的作用。 所以，文章提出了很多temporal kernels来建模这种时间变化，不同的kernel函数 : → 如下所示： (1)   =  ,假设一个用户操作的影响会随着时间指数下降，但是永远不会消失。 (2)  ,假设一个用户操作的影响会随着时间而减弱，最终可以忽略不计。 (3)  -alT + b,假设一个用户操作的影响会随着时间线性下降，之后的softmax操作会将某个时间段内的影响置为0。 (4)  假设一个用户操作的影响不受时间影响。 根据K个kernal函数{ },我们可以将 T 转为K个temporal权重集合： 作为下一阶段的输入。 这一阶段的目标是基于提取到的context信息融合前两个阶段获得的content和temporal信息。 使用Bidirectional RNN结构来获得context信息。从输入序列embedding表示X中，我们可以计算得到循环隐藏层的状态： 其中，⊕是拼接操作，C_a​ttr是可选择的context特征（可以是特定推荐系统中每个行为的属性，表示行为发生时的上下文），本文中只使用了Bi-RNN的输出作为context特征。 行为i的context特征需要映射为一个长度为K的权重向量，每一个元素 都是这个行为经过 后的结果，使用feed forwaed层Fγ将它们映射到概率空间 ，然后经过softmax操作得到概率分布：最后将context和temporal信息进行融合：其中， , 其中，r是每一个item的分数，对于给定的用户，通过softmax层对item分数进行归一化，该层会在item表上产生概率分布，也就是进行多分类的意思。其中Ns是根据频率进行负采样的负样本。