人工神经网络研究论文

神经网络的是我的毕业论文的一部分4．人工神经网络人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络学习的原理人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。人工神经网络的优缺点人工神经网络由于模拟了大脑神经元的组织方式而具有了人脑功能的一些基本特征，为人工智能的研究开辟了新的途径，神经网络具有的优点在于:（1）并行分布性处理因为人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达一批神经元的输入端，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式计算系统，这样就避免了以往的“匹配冲突”，“组合爆炸”和“无穷递归”等题，推理速度快。（2）可学习性一个相对很小的人工神经网络可存储大量的专家知识，并且能根据学习算法，或者利用样本指导系统来模拟现实环境(称为有教师学习)，或者对输入进行自适应学习(称为无教师学习)，不断地自动学习，完善知识的存储。（3）鲁棒性和容错性由于采用大量的神经元及其相互连接，具有联想记忆与联想映射能力，可以增强专家系统的容错能力，人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来严重的影响。而且克服了传统专家系统中存在的“知识窄台阶”问题。（4）泛化能力人工神经网络是一类大规模的非线形系统，这就提供了系统自组织和协同的潜力。它能充分逼近复杂的非线形关系。当输入发生较小变化，其输出能够与原输入产生的输出保持相当小的差距。（5）具有统一的内部知识表示形式，任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，便于知识库的组织管理，通用性强。虽然人工神经网络有很多优点，但基于其固有的内在机理，人工神经网络也不可避免的存在自己的弱点:（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）神经网络不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。（3）神经网络把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）神经网络的理论和学习算法还有待于进一步完善和提高。神经网络的发展趋势及在柴油机故障诊断中的可行性神经网络为现代复杂大系统的状态监测和故障诊断提供了全新的理论方法和技术实现手段。神经网络专家系统是一类新的知识表达体系，与传统专家系统的高层逻辑模型不同，它是一种低层数值模型，信息处理是通过大量的简单处理元件(结点) 之间的相互作用而进行的。由于它的分布式信息保持方式，为专家系统知识的获取与表达以及推理提供了全新的方式。它将逻辑推理与数值运算相结合，利用神经网络的学习功能、联想记忆功能、分布式并行信息处理功能，解决诊断系统中的不确定性知识表示、获取和并行推理等问题。通过对经验样本的学习，将专家知识以权值和阈值的形式存储在网络中，并且利用网络的信息保持性来完成不精确诊断推理，较好地模拟了专家凭经验、直觉而不是复杂的计算的推理过程。但是，该技术是一个多学科知识交叉应用的领域，是一个不十分成熟的学科。一方面，装备的故障相当复杂;另一方面，人工神经网络本身尚有诸多不足之处:（1）受限于脑科学的已有研究成果。由于生理实验的困难性，目前对于人脑思维与记忆机制的认识还很肤浅。（2）尚未建立起完整成熟的理论体系。目前已提出了众多的人工神经网络模型，归纳起来，这些模型一般都是一个由结点及其互连构成的有向拓扑网，结点间互连强度所构成的矩阵，可通过某种学习策略建立起来。但仅这一共性，不足以构成一个完整的体系。这些学习策略大多是各行其是而无法统一于一个完整的框架之中。（3）带有浓厚的策略色彩。这是在没有统一的基础理论支持下，为解决某些应用，而诱发出的自然结果。（4）与传统计算技术的接口不成熟。人工神经网络技术决不能全面替代传统计算技术，而只能在某些方面与之互补，从而需要进一步解决与传统计算技术的接口问题，才能获得自身的发展。虽然人工神经网络目前存在诸多不足，但是神经网络和传统专家系统相结合的智能故障诊断技术仍将是以后研究与应用的热点。它最大限度地发挥两者的优势。神经网络擅长数值计算，适合进行浅层次的经验推理;专家系统的特点是符号推理，适合进行深层次的逻辑推理。智能系统以并行工作方式运行，既扩大了状态监测和故障诊断的范围，又可满足状态监测和故障诊断的实时性要求。既强调符号推理，又注重数值计算，因此能适应当前故障诊断系统的基本特征和发展趋势。随着人工神经网络的不断发展与完善，它将在智能故障诊断中得到广泛的应用。根据神经网络上述的各类优缺点，目前有将神经网络与传统的专家系统结合起来的研究倾向，建造所谓的神经网络专家系统。理论分析与使用实践表明，神经网络专家系统较好地结合了两者的优点而得到更广泛的研究和应用。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高汽体的压力，而是依靠动能的变化来提高汽体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动汽体运动或者使汽体得到动能，然后使部分动能转化为压力能从而提高汽体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。其中根据压缩机中安装的工作轮数量的多少，分为单级式和多级式。如果只有一个工作轮，就称为单级离心式压缩机，如果是由几个工作轮串联而组成，就称为多级离心式压缩机。在空调中，由于压力增高较少，所以一般都是采用单级，其它方面所用的离心式制冷压缩机大都是多级的。单级离心式制冷压缩机的构造主要由工作轮、扩压器和蜗壳等所组成。压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器(或中间冷却器)来的制冷剂蒸汽均匀地进入高速旋转的工作轮3(工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给汽体)。汽体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使汽体的压力和速度都得到提高。由工作轮出来的汽体再进入截面积逐渐扩大的扩压器4(因为汽体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高汽体的压力)。汽体流过扩压器时速度减小，而压力则进一步提高。经扩压器后汽体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。二、离心式制冷压缩机的特点与特性离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： (1)单机制冷量大，在制冷量相同时它的体积小，占地面积少，重量较活塞式轻5～8倍。 (2)由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 (3)工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 (4)能经济方便的调节制冷量且调节的范围较大。 (5)对制冷剂的适应性差，一台结构一定的离心式制冷压缩机只能适应一种制冷剂。 (6)由于适宜采用分子量比较大的制冷剂，故只适用于大制冷量，一般都在25～30万大卡／时以上。如制冷量太少，则要求流量小，流道窄，从而使流动阻力大，效率低。但近年来经过不断改进，用于空调的离心式制冷压缩机，单机制冷量可以小到10万大卡／时左右。制冷与冷凝温度、蒸发温度的关系。由物理学可知，回转体的动量矩的变化等于外力矩，则 T=m(C2UR2-C1UR1) 两边都乘以角速度ω，得 Tω=m(C2UωR2-C1UωR1) 也就是说主轴上的外加功率N为： N=m(U2C2U-U1C1U) 上式两边同除以m则得叶轮给予单位质量制冷剂蒸汽的功即叶轮的理论能量头。 U2 C2 ω2 C2U R1 R2 ω1 C1 U1 C2r β 离心式制冷压缩机的特性是指理论能量头与流量之间变化关系，也可以表示成制冷 W=U2C2U-U1C1U≈U2C2U （因为进口C1U≈0）又C2U=U2-C2rctgβ C2r=Vυ1/(A2υ2) 故有 W= U22(1- Vυ1 ctgβ) A2υ2U2 式中：V—叶轮吸入蒸汽的容积流量（m3/s） υ1υ2 ——分别为叶轮入口和出口处的蒸汽比容（m3/kg） A2、U2—叶轮外缘出口面积(m2)与圆周速度(m/s) β—叶片安装角由上式可见，理论能量头W与压缩机结构、转速、冷凝温度、蒸发温度及叶轮吸入蒸汽容积流量有关。对于结构一定、转速一定的压缩机来说，U2、A2、β皆为常量，则理论能量头W仅与流量V、蒸发温度、冷凝温度有关。按照离心式制冷压缩机的特性，宜采用分子量比较大的制冷剂，目前离心式制冷机所用的制冷剂有F—11、F—12、F—22、F—113和F—114等。我国目前在空调用离心式压缩机中应用得最广泛的是F—11和F—12，且通常是在蒸发温度不太低和大制冷量的情况下，选用离心式制冷压缩机。此外，在石油化学工业中离心式的制冷压缩机则采用丙烯、乙烯作为制冷剂，只有制冷量特别大的离心式压缩机才用氨作为制冷剂。三、离心式制冷压缩机的调节离心式制冷压缩机和其它制冷设备共同构成一个能量供给与消耗的统一系统。制冷机组在运行时，只有当通过压缩机的制冷剂的流量与通过设备的流量相等时，以及压缩机所产生的能量头与制冷设备的阻力相适应时，制冷系统的工况才能保持稳定。但是制冷机的负荷总是随外界条件与用户对冷量的使用情况而变化的，因此为了适应用户对冷负荷变化的需要和安全经济运行，就需要根据外界的变化对制冷机组进行调节，离心式制冷机组制冷量的调节有：1°改变压缩机的转速；2°采用可转动的进口导叶；3°改变冷凝器的进水量；4°进汽节流等几种方式，其中最常用的是转动进口导叶调节和进汽节流两种调节方法。所谓转动进口导叶调节，就是转动压缩机进口处的导流叶片以使进入到叶轮去的汽体产生旋绕，从而使工作轮加给汽体的动能发生变化来调节制冷量。所谓进汽节流调节，就是在压缩机前的进汽管道上安装一个调节阀，如要改变压缩机的工况时，就调节阀门的大小，通过节流使压缩机进口的压力降低，从而实现调节制冷量。离心式压缩机制冷量的调节最经济有效的方法就是改变进口导叶角度，以改变蒸汽进入叶轮的速度方向(C1U)和流量V。但流量V必须控制在稳定工作范围内，以免效率下降。

duda的那本模式分类专门有一章讲神经网络。然后就是Simon Haykin的那本神经网络与机器学习，应该是比较经典的。几乎所有的模式识别或者人工智能的书上都会有专门的一章讲神经网络。我觉得就是按照书上那种结构写就行了。先写BP，然后是径向基函数，然后是Hopfield等等。

模式识别中一个方法是聚类，而神经网络中，如感知机、BP算法、RBF算法、Hopfield算法等都可以做聚类，这可以是一个思路。

人工智能神经网络论文

人工智能哪一个方向比较好写的话，我觉得应该是说它的应用方面比较好写吧，因为对于专业知识可能不太了解，但是它的使用的话应该比较简单。

工智能论文要抓住现在智能的特点。例如是语音操控还是是手机操控。现在比较流行懒人模式，都是语音操控的比较多。

导语

从感知机模型，到深度神经网络的发明，都受到了生物神经系统的启发。在本周Science的一篇评论文章中，研究者认为，将深度学习与类似人脑的先天结构相结合，能够让神经网络模型更接近人类学习模型。

1950年，数学家艾伦图灵在他的论文开头提出了一个重要的问题：机器能思考吗？就此，人类展开了对人工智能的探索。

而目前唯一已知的、能进行复杂计算的系统就是生物神经系统，这也就不奇怪——为什么人工智能领域的科学家们会将大脑神经回路视作灵感的来源。

在人工智能领域发展的早期，科学家就研究过使用类似大脑结构的电路进行智能计算。近些年，这一研究方法诞生的最伟大成果就是一个高度精简的大脑皮层回路模型：神经网络。

这个模型受到了大脑神经网络模型的启发。神经网络模型由多层神经元构成，可以通过调节参数权重的大小来调节这些神经元之间连接的强弱，这种结构与神经科学中的突触相对应。

深度神经网络以及相关的方法在人工智能系统的应用中已经带来了深远的变革。在计算机视觉、语音识别以及游戏博弈等人工智能的核心领域，神经网络都有着举足轻重的影响力，相较其它模型更甚。在应用领域，语音文本翻译以及计算机视觉这些问题中都广泛应用神经网络方法。

本文我们将会讨论，大脑神经元回路如何为神经网络方法提供新的指引和洞见，使得神经网络能够成为一种强人工智能方法。

从深度学习到强化学习

深度神经网络

深度神经网络的关键问题就是学习问题：如何通过调整神经元之间连接的权重，使得输入的数据能够得到期望的输出，方法是通过对样本的训练自动调整权重。训练样本提供了一套输入数据以及与之所对应的输出数据。深度神经网络通过调整神经元之间的权重，使得输入数据能够产生与期望相对应的输出。

一个好的学习过程，不仅仅是记住了输入样本，同时能够泛化模型，使得模型在遇到没有学习过的样本数据时，也能够得到正确的输出结果。

我们将深度神经网络模型与核磁共振成像以及生物行为数据等实证生理学方法提供的结果相比较，会发现大脑与深度神经网络模型的异同之处。与灵长类生物的视觉系统相比，这两种神经模型的早期神经反应阶段比后期阶段更为接近。这表明我们人造的深度神经网络，能够更好的处理早期神经反应阶段，后期认知过程的处理能力还比较差。

强化学习

除了深度神经网络以外，人工智能模型近期还增添了一员“大将”：强化学习 ——大脑收到了奖励信号就能够改变行为的机制。强化学习能够表征人或者动物在全世界范围内的行为，并且接收奖励信号。研究者们已经广泛地研究了这种学习模型的大脑反应机制，并且应用到人工智能领域，特别是机器人领域。

强化学习的目标是学习一个最优策略，构建一种从状态到行动的映射，以此来优化所有时间内能获得的收益。近期的人工智能研究中已经将强化学习与深度学习相结合，特别是在诸如视频游戏、棋类游戏（国际象棋、围棋和日本将棋）等复杂的游戏活动中。

深度神经网络和强化学习相结合的模型产生了应为惊讶的结果：人工智能已经击败了国际围棋大师，并且仅需要4小时的训练就能够达到大师级的水平，而且并没有依赖于人类的棋谱，而是通过自我博弈达到这样的结果。

大脑神经回路（左）与深度神经网络（右）

神经网络：人工 VS. 生物

一个悬而未决的问题是：与大脑神经回路相比，当前我们所使用的深度神经网络模型结构极其简单，这样的简化是否能够捕捉到人类学习与认知的全部能力？

从神经科学引领人工智能的视角来看，我们必须承认目前取得的结果令人惊讶。与大脑皮层的神经回路相比，神经网络模型做了许多简化，同时也加入了另外一些受到脑神经科学启发的结构，比如归一化处理以及注意力模型。但是一般来说，我们所熟知的关于神经元的所有东西（结构、类型以及关联性等等特征）都被排除在了神经网络模型之外。

目前科学家们并不清楚，对于神经网络这个人工智能模型而言，哪些生物神经结构是必不可少且能发挥作用的。但是生物神经结构和深度神经网络结构的差异已经非常明显了，比如说生物神经元在形态结构、生理特征以及神经化学方面千差万别且结构复杂。典型的例子有，兴奋性椎体神经元的输入分布在复杂树突的顶部和底部；抑制性皮质神经元具有多种不同的形态，且能执行不同的功能。

神经网络模型不仅没有包含这种异质性以及其它复杂的特征，相反，人工神经网络使用了高度精简且一致统一的数学函数作为神经元。就神经元之间的连接方式而言，生物神经元也比神经网络要复杂许多，同层神经元之间的连接，局部连接与远程连接，以及皮层区不同层级之间自上而下的连接，以及可能存在局部的“规范电路”。

深度神经网络主要的成绩还是在处理现实世界中诸如语音信息和视觉信息等感知数据上。在图像视觉领域，神经网络模型最初是用来处理感知问题，例如对图像进行分割以及分类。

在这些工作的基础上加上一些扩展，我们就能够让神经网络模型处理更加复杂的问题。

例如为图像提供说明文字，利用一段简短的语言描述图片的内容，或者识别图片的内容并回答人类的提问。

非视觉问题，比如理解图片的潜在含义：幽默还是讽刺？或者通过图片理解其中的物理结构以及社会现象等。不仅如此，科学家们也在努力让这样的神经网络应用在自动翻译、个人辅助、医疗诊断、高级机器人以及自动驾驶等其它领域。

人们在人工智能领域的研发投入以及资金投入都与日俱增，但这同时也带来了一些的疑难问题——人工智能到底能否带来真实？能否产生和人类类似的理解能力？甚至人工智能是否会和人类智能走向完全不同的方向？这些问题都是未知的，并且人类在该领域的科学研究以及商业实践上都下了重注。

倘若当前的神经网络模型在认知能力方面被证明是有限的，那么自然研究者还需要到神经科学中去寻找启示。目前被人们所忽略的大脑神经中的种种细节是否能为构建强人工智能提供一把钥匙？我们人类大脑中哪些结构是特别重要的，这一点并没有定论。

认知能力取决于

先天结构还是后天学习？

虽然我们人类对自己大脑神经回路的理解还很有限，但我们仍然可以正视一个常见的问题——人脑神经和深度神经网络模型有着根本的不同，这种不同可能在寻找类似人类的强人工智能的道路上起到至关重要的作用。

这涉及到了一个古老的认知问题，是经验主义还是先天主义？换句话说就是：先天的认知结构和一般的学习机制二者的相互作用问题。

婴儿期视觉学习带来的启示

目前的智能模型倾向于经验主义，使用相对简单统一的网络结构，主要依靠学习过程以及大量的训练数据来提高认知能力。相比而言，生物体往往是在经过很有限的训练就能够完成复杂的任务，许多的学习任务是由先天的神经结构来完成的。换句话说，生物的学习是举一反三，而神经网络是举三反一。

比如说许多物种，诸如昆虫、鱼类、鸟类都有着一套复杂且独特的机制来执行导航任务。就人类而言，人类的婴儿出生几个月就能够进行复杂的认知工作，而这时的人类并不能接受具体的训练，相反婴儿能够本能的去识别物体，抓握物体。在视觉上，婴儿能够识别一个动画角色是否友善，这些任务显示出了一个婴儿对这个物理世界以及人类社会的初步理解。

大量的研究表明，快速的非监督学习是可行的，因为人类的认知系统中已经先天地具备了基本结构，这些结构有助于人类获得有意义的概念，并且增进认知技能。

与现有的深度神经网络模型相比，人类认知学习和理解能力所具有的优越性很可能是因为人类认知系统中包含着大量的先天结构。通过对婴儿期视觉学习过程的建模，体现出了先天的结构以及后天学习过程的有效结合，并且人们发现那些含义复杂的概念，既不是先天存在的也不是后天学会的。

在这个“中间路线”中，先天概念并不是被开发出来的，而是通过一些简单的原型概念随着人类的学习过程一步一步演化成复杂概念的，这个模式很难说存在明确的学习训练过程。

比如说婴儿能够注意到人的视线以及人的动作之间的关联，当人的视线以及动作朝向相反方向的时候，能够察觉到其中的错误。大脑皮层先天的特定结构能够实现这一功能，并且能对输入的信息输出报错反馈。

“中间路线”助力人工智能

我们也可以把这种先天的结构构建于人工神经网络中，使得人工神经网络的学习过程更加类似于人类。人们可以通过理解并模仿大脑的相关机制来完成这样的一个研究任务，或者从零开始开发一个全新的高效的计算学习方法。

科学家已经在这个方向上做了一些尝试。但总的来说，学习一个先天的结构与当前的学习任务并不相同，在这个问题上人类还是知之甚少。把先天结构与后天学习结合在一起，可能给神经科学和通用人工智能这两个学科都带来好处，并且能将二者结合为智能处理理论。

人工神经网络毕业论文外文翻译

人工神经网络

英文翻译如下：

artificial neural network

双语例句：

1、This paper discussed the application of artificial neural network at the resistance spot welding of aluminum alloy.

针对铝合金的电阻点焊，研究了人工神经网络在点焊质量估测中的应用。

2、In the paper, data preparative and Artificial Neural Network parameter in DM is discussed mainly.

在论文中，着重考虑了人工神经网在数据挖掘中的数据准备问题、网络参数的选取问题等等。

3、Artificial neural network and its application in near infrared spectroscopy are presented in brief.

简要介绍了人工神经网络及其在近红外光谱分析中的应用。

推荐到OA图书馆查询。中英文都有。英文文献，输入英文关键词即可

你好，请下载附件，你需要的文献已上传，希望对你的学习研究有所帮助，还望及时采纳答案哦

外文翻译-基于arm的生物发酵智能控制系统的设计，英语原文文献请下载附件，建议，自给自足，多学习，我们毕竟在大学中是以学习为本职的。

作者：Shi Y, Gai G, Zhao X.

文题：Influence and Simulation Model of Operational Parameters on Hydrogen Bio-production Through Anaerobic Microorganism Fermentation Using Two Kinds of Wastes

来源：Proceedings of the World Congress on Engineering and Computer Science. 2009, 2.

已经发到你邮箱了，收到了吗？

深度神经网络研究应用论文

深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。除了这篇这篇研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]

YouTube推荐系统的三大难点：

· 一是规模太大，简单的推荐算法在如此大规模数据量上可能是失效的；

· 二是实效性，即新数据不断产生，需要将其良好的呈现给用户，以平衡旧有的好内容以及新内容；

· 三是噪音问题，用户行为与视频描述均有噪音，并且只能获得充满噪音的用户隐含反馈，而不能直接获取用户满意度。

图基于深度学习推荐系统架构图

本文呈现的推荐系统解决方案分为两个部分:

· 一个是备选生成（Candidate Generation），其目标是初选结果，从海量数据中选择出符合其个人需求偏好的百级别数据;

· 一个则是排序（Ranking），通过更加丰富的用户，视频乃至场景信息，对结果进行精细化排序，得到呈现给用户的备选。

备选生成阶段，将推荐系统定义为一个多分类器，其职责是确定某个用户，在某个场景与时间下，将从系统的视频中选择消费哪一个视频。具体的方法是，将用户与视频全部转化为Embedding描述，即一个向量，最终用户消费某个视频的概率通过如下方式计算得到：

而构建用户与视频的Embedding，则是通过训练而来。将用户观看视频/搜索记录/其它信息如年龄性别等作为输入特征，部分稀疏特征首先进行Embedding化，中间为数层ReLU，最终一层用SoftMax进行分类。换句话讲，是将用户与场景信息作为输入，预估用户下一个要看的视频，也就是将用户分到具体某一个视频作为其类别。用户与视频的Eembedding，则是神经网络最后一层的对应矩阵。这种方法除了能利用用户行为信息外，其它信息例如设备，地理位置，性别等也可以作为输入，这是神经网络相对于普通MF类算法的优势之一。

图推荐备选生成阶段架构

备选生成的下一个阶段是排序。其网络结构跟备选生成阶段类似，将所有排序模型中的信息输入后，进入多层ReLU，最终进行优化的是一个加权逻辑回归损失函数，观看时间作为阳性样本权重。在这一层，也可以看到其推荐“代理问题”的转化：由点击行为预估转为了以观看时长为权重的点击行为预估，这样更佳贴近Youtube的产品优化方向。与备选生成阶段另一个不同在于，排序模块需要考量的特征要多得多:

· “场景”类特征，例如用户可能在某个地方某个时间愿意观看某一条视频，但是在别的地方别的时间则不会；

· 曝光信息：用户观看了某界面，但是并未在其上进行操作，那么随之应进行已呈现内容降级；

· 备选生成层输出：排序需要将各种备选结果联合起来；

· 更丰富的用户信息：例如用户最近的一次搜索词，用户最近观看的同一个主题下的视频数量，用户上一次观看同主题视频的时间，用户所使用的语言等；

图推荐排序阶段架构

除了整体设计与系统架构以外，本篇论文中陈述了很多“选择”，这些选择更多的是“艺术”而不完全属于技术范畴。这些选择往往是很多技术人员关注不多的点，但在笔者看来，这些都蕴含着YouTube技术与产品人员深入的思考与判断。

“Example Age” 特征

对于YouTube产品层来讲，鼓励内容产生毫无疑问是至关重要的，所以推荐系统也希望对用户上传的新内容的有所偏好。然而幸运的是，即使损失一部分相关性，视频的消费者也偏好新内容。也就是说，新内容的价值可以良好的通过其带来的吸引力呈现出来，并不需要平台刻意而为之。

由于系统使用一个时间窗口的训练样本进行训练，如果没有视频的上传时间信息，那么模型会认为这个时间窗口内用户对视频的偏好是稳定的，然而事实远非如此。将视频的上传时间加入到特征集合后，预估更加准确，尤其是视频刚上传阶段的强烈便好被成功捕捉到。

图4.无时间特征预估/有时间特征预估/真实情况三者对比

优化目标选择

图5.优化对象的选择

算法系统的设计首先要明确优化对象，这不仅仅涉及到损失函数的形式，同样也是评判系统成功与否的标准。YouTube是视频平台，更是富含“价值”的长视频平台，其观看行为比点击行为意义更大。（当然，笔者认为没有任何一个简单指标可以完全代表一个产品）

“正样本”定义

图6.何为正样本的设计选择

训练数据来源

图7.关于训练数据来源的设计抉择

训练数据应该只来源于推荐界面的曝光吗？YouTube认为不然。如果只考虑推荐界面曝光，则无法对用户便好进行探索，更加无法捕捉用户偏好的变化，因为用户偏好的变化往往首先会对应着搜索与浏览行为。所以YouTube将各个界面例如搜索，导航等用户行为全部纳入其中。

训练数据窗口

图8. 训练数据收集方式的设计选择

Youtube将所有用户等而视之，每个用户收集一定量的样本。而不是惯常可见的直接收集一个时间窗口内的所有用户行为，作为训练样本。这样的好处是避免系统收到少数行为过多用户的影响，使得系统更多的为大众设计。这样的设计理念与近期阿里Gai Kun的论文中评测方法(用户AUC)设计有异曲同工之妙。

用户行为序列处理

图9.用户行为序列信息处理的设计选择

在系统中，用户往往会顺着一个检索结果页或者用户发布者浏览页进行顺序观看，如果系统捕捉到了用户看了检索界面的前三个结果，那么预估用户将看第四个结果就会很容易。但是这样真的好吗？将检索结果页面或者用户发布视频界面直接作为推荐结果呈现给用户是并不友好的--抢了别的界面应该干的活嘛。所以此处YouTube对用户行为序列做了处理，在模型输入中选择放弃用户行为的序列信息，将其打散成词袋Embedding，即使这样的信息有利于模型的离线训练效果。

预估对象的选择

图10.关于预估对象的设计选择

用户的行为往往是有顺序的，用户在系统中“热身”后，在一个频道下面，往往先看大众喜欢的热门，然后逐步找到自己的兴趣点，聚焦看一块内容。那么，训练数据则应该收集用户前段时间行为，预估此后的行为。而不是收集时间前后段的行为，预估中间时间段的用户行为。这样模型更加接近用户习惯。

除此之外，Youtube根据系统设计了对应的实验，结果非常简单：深度网络层数越高，效果越好。

YouTube的推荐系统，已经为其贡献了70%的用户播放时长，搜索与导航在PC时代的主导地位在移动时代已经完全被颠覆掉。希望大家在其中学到一些东西。笔者水平所限，若有错误不当之处，敬请指正。

另外，个人用TensorFlow模拟Youtube的推荐系统，做了一个简单实现。其实就是一个多分类器外加一个单分类器，远谈不上成熟，可以供大家参考。

——END——

图神经网络论文

白行健（右）此前获COO金牌第一名

高中生开始研究图神经网络

白行健的论文为《基于自适应性图卷积神经网络的暴力用户检测》，目前已经成功入围总决赛。

文章提出了⼀种新的⾃适应图卷积神经⽹络模型（Adaptive Graph Convolutional Neural Networks，简称AdaGCN），在传统的GCN模型的基础上进⾏了改进和创新。为了解决参数增加带来的模型难以训练和过拟合情况，文章引入了标签平滑假设，对边权的训练施加了额外的监督，从⽽实现了和GCN模型的⾃然结合。

白行健的数据集包含了10万余名Twitter⽤户和200余万条社交关系，其中⼤约5千名⽤户被标记是否为暴⼒⽤户。实验结果表明，AdaGCN的AUC得分为，F1得分为，得分⾼于所有对⽐⽅法，包括传统的GCN模型，图注意⼒⽹络 (GAT)，标签传播算法（LPA），⽀持向量机（SVM）等等。此外， AdaGCN模型的结果具有最低的标准差，这表明AdaGCN模型具有很强的稳定性。在线社交平台可以利⽤本⽂提出的⽅法来更好地评估、检测暴⼒⽤户，防⽌暴⼒⽤户伤害他⼈并传播仇恨⾔论。同时，⾃适应图卷积神经⽹络模型也可以⽤来评估不同类型的暴⼒⾔论造成的社会影响。

开挂的学霸少年

此次入围丘成桐奖之前，白行健从2018年开始多次参加相关竞赛获得好成绩：

白行健（右）

在生活方面，白行健也有很多其他尝试，他目前就读北京师范⼤学附属实验中学国际部⾼三，对数学和计算机科学非常感兴趣，担任学校计算机社社长和⼈⽂社社长。

图 | 微博

而今年的丘成桐中学科学奖中，白行健选择用图神经网络为切入点，对网络暴力用户进行检测。很大一部分原因也是身边有好友经历过网络暴力：

“2018年2⽉10⽇，⼀个名叫Ted Senior的22岁男孩在林地上吊⾃杀，原因是⼀些⼈在社交媒体上恶意地分享和评判他与⼀名⼥孩的聊天内容。在我身边，我的同学好友在学校论坛发表观点，但是遭受匿名的辱骂和攻击，这种羞辱让他感到⾮常痛苦。我深深地被这些可恨的⾏为和可怕的后果所触动。计算机科学带来了信息时代，社交⽹络改变了我们的⽣活，我们期望技术会让世界更美好。但没有什么是尽善尽美的。⽹络暴⼒是信息技术⽆意中带来的⼀个问题，我渴望找到⼀种⽅法来发现和控制它们。”

而目前对于网络暴力，目前已经有不少基于深度学习的网络欺凌模型。比如Instagram去年推出「增强版的评论过滤器」，通过对照片、文字的检测分析，对其中的恶意行为采取过滤等措施。、

Facebook和Twitter也推出了类似的举措来限制其平台上的欺凌行为。Twitter在去年十月制定了一个时间表，以便从其平台中删除裸露和仇恨图像等内容。去年Facebook添加了一些工具，允许用户一次隐藏或删除多条评论，并允许用户代表朋友或家人报告欺凌或骚扰。

科技的发展真实的改变着我们的生活，我们享受其便利、承受其弊端。而像白行健这样的年轻人将越来越早的进入改变世界的行列，用技术影响着我们。

看来未来不仅仅是「同辈压力」了，「后辈压力」也追着我们跑来了。毕竟当你还在拼命打排位的时候，高中生已经论文已经发起来了......

在这篇文章中，我们将仔细研究一个名为GCN的著名图神经网络。首先，我们先直观的了解一下它的工作原理，然后再深入了解它背后的数学原理。

字幕组双语原文：【GCN】图卷积网络(GCN)入门详解英语原文： Graph Convolutional Networks (GCN) 翻译：听风1996 、大表哥

许多问题的本质上都是图。在我们的世界里，我们看到很多数据都是图，比如分子、社交网络、论文引用网络。

图的例子。(图片来自[1])

在图中，我们有节点特征（代表节点的数据）和图的结构（表示节点如何连接）。

对于节点来说，我们可以很容易地得到每个节点的数据。但是当涉及到图的结构时，要从中提取有用的信息就不是一件容易的事情了。例如，如果2个节点彼此距离很近，我们是否应该将它们与其他对节点区别对待呢？高低度节点又该如何处理呢？其实，对于每一项具体的工作，仅仅是特征工程，即把图结构转换为我们的特征，就会消耗大量的时间和精力。

图上的特征工程。(图片来自[1])

如果能以某种方式同时得到图的节点特征和结构信息作为输入，让机器自己去判断哪些信息是有用的，那就更好了。

这也是为什么我们需要图表示学习的原因。

我们希望图能够自己学习 "特征工程"。(图片来自[1])

论文：基于图神经网络的半监督分类（2017）[3]

GCN是一种卷积神经网络，它可以直接在图上工作，并利用图的结构信息。

它解决的是对图（如引文网络）中的节点（如文档）进行分类的问题，其中仅有一小部分节点有标签（半监督学习）。

在Graphs上进行半监督学习的例子。有些节点没有标签（未知节点）。

就像"卷积"这个名字所指代的那样，这个想法来自于图像，之后引进到图（Graphs）中。然而，当图像有固定的结构时，图（Graphs）就复杂得多。

从图像到图形的卷积思想。 (图片来自[1])

GCN的基本思路：对于每个节点，我们从它的所有邻居节点处获取其特征信息，当然也包括它自身的特征。假设我们使用average()函数。我们将对所有的节点进行同样的操作。最后，我们将这些计算得到的平均值输入到神经网络中。

在下图中，我们有一个引文网络的简单实例。其中每个节点代表一篇研究论文，同时边代表的是引文。我们在这里有一个预处理步骤。在这里我们不使用原始论文作为特征，而是将论文转换成向量（通过使用NLP嵌入，例如tf-idf）。NLP嵌入，例如TF-IDF)。

让我们考虑下绿色节点。首先，我们得到它的所有邻居的特征值，包括自身节点，接着取平均值。最后通过神经网络返回一个结果向量并将此作为最终结果。

GCN的主要思想。我们以绿色节点为例。首先，我们取其所有邻居节点的平均值，包括自身节点。然后，将平均值通过神经网络。请注意，在GCN中，我们仅仅使用一个全连接层。在这个例子中，我们得到2维向量作为输出（全连接层的2个节点）。

在实际操作中，我们可以使用比average函数更复杂的聚合函数。我们还可以将更多的层叠加在一起，以获得更深的GCN。其中每一层的输出会被视为下一层的输入。

2层GCN的例子：第一层的输出是第二层的输入。同样，注意GCN中的神经网络仅仅是一个全连接层（图片来自[2]）。

让我们认真从数学角度看看它到底是如何起作用的。

首先，我们需要一些注解

我们考虑图G，如下图所示。

从图G中，我们有一个邻接矩阵A和一个度矩阵D。同时我们也有特征矩阵X。

那么我们怎样才能从邻居节点处得到每一个节点的特征值呢？解决方法就在于A和X的相乘。

看看邻接矩阵的第一行，我们看到节点A与节点E之间有连接，得到的矩阵第一行就是与A相连接的E节点的特征向量（如下图）。同理，得到的矩阵的第二行是D和E的特征向量之和，通过这个方法，我们可以得到所有邻居节点的向量之和。

计算 "和向量矩阵 "AX的第一行。

在问题（1）中，我们可以通过在A中增加一个单位矩阵I来解决，得到一个新的邻接矩阵Ã。

取lambda=1（使得节点本身的特征和邻居一样重要），我们就有Ã=A+I，注意，我们可以把lambda当做一个可训练的参数，但现在只要把lambda赋值为1就可以了，即使在论文中，lambda也只是简单的赋值为1。

通过给每个节点增加一个自循环，我们得到新的邻接矩阵

对于问题(2): 对于矩阵缩放，我们通常将矩阵乘以对角线矩阵。在当前的情况下，我们要取聚合特征的平均值，或者从数学角度上说，要根据节点度数对聚合向量矩阵ÃX进行缩放。直觉告诉我们这里用来缩放的对角矩阵是和度矩阵D̃有关的东西（为什么是D̃，而不是D？因为我们考虑的是新邻接矩阵Ã 的度矩阵D̃，而不再是A了）。

现在的问题变成了我们要如何对和向量进行缩放/归一化？换句话说：

我们如何将邻居的信息传递给特定节点？我们从我们的老朋友average开始。在这种情况下，D̃的逆矩阵（即，D̃^{-1}）就会用起作用。基本上，D̃的逆矩阵中的每个元素都是对角矩阵D中相应项的倒数。

例如，节点A的度数为2，所以我们将节点A的聚合向量乘以1/2，而节点E的度数为5，我们应该将E的聚合向量乘以1/5，以此类推。

因此，通过D̃取反和X的乘法，我们可以取所有邻居节点的特征向量（包括自身节点）的平均值。

到目前为止一切都很好。但是你可能会问加权平均()怎么样？直觉上，如果我们对高低度的节点区别对待，应该会更好。

但我们只是按行缩放，但忽略了对应的列（虚线框）。

为列增加一个新的缩放器。

新的缩放方法给我们提供了 "加权 "的平均值。我们在这里做的是给低度的节点加更多的权重，以减少高度节点的影响。这个加权平均的想法是，我们假设低度节点会对邻居节点产生更大的影响，而高度节点则会产生较低的影响，因为它们的影响力分散在太多的邻居节点上。

在节点B处聚合邻接节点特征时，我们为节点B本身分配最大的权重（度数为3），为节点E分配最小的权重（度数为5）。

因为我们归一化了两次，所以将"-1 "改为"-1/2"

例如，我们有一个多分类问题，有10个类，F 被设置为10。在第2层有了10个维度的向量后，我们将这些向量通过一个softmax函数进行预测。

Loss函数的计算方法很简单，就是通过对所有有标签的例子的交叉熵误差来计算，其中Y_{l}是有标签的节点的集合。

层数是指节点特征能够传输的最远距离。例如，在1层的GCN中，每个节点只能从其邻居那里获得信息。每个节点收集信息的过程是独立进行的，对所有节点来说都是在同一时间进行的。

当在第一层的基础上再叠加一层时，我们重复收集信息的过程，但这一次，邻居节点已经有了自己的邻居的信息（来自上一步）。这使得层数成为每个节点可以走的最大跳步。所以，这取决于我们认为一个节点应该从网络中获取多远的信息，我们可以为#layers设置一个合适的数字。但同样，在图中，通常我们不希望走得太远。设置为6-7跳，我们就几乎可以得到整个图，但是这就使得聚合的意义不大。

例：收集目标节点 i 的两层信息的过程

在论文中，作者还分别对浅层和深层的GCN进行了一些实验。在下图中，我们可以看到，使用2层或3层的模型可以得到最好的结果。此外，对于深层的GCN（超过7层），反而往往得到不好的性能（虚线蓝色）。一种解决方案是借助隐藏层之间的残余连接（紫色线）。

不同层数#的性能。图片来自论文[3]

论文作者的说明

该框架目前仅限于无向图（加权或不加权）。但是，可以通过将原始有向图表示为一个无向的两端图，并增加代表原始图中边的节点，来处理有向边和边特征。

对于GCN，我们似乎可以同时利用节点特征和图的结构。然而，如果图中的边有不同的类型呢？我们是否应该对每种关系进行不同的处理？在这种情况下如何聚合邻居节点？最近有哪些先进的方法？

在图专题的下一篇文章中，我们将研究一些更复杂的方法。

如何处理边的不同关系（兄弟、朋友、......）？

[1] Excellent slides on Graph Representation Learning by Jure Leskovec (Stanford):

[2] Video Graph Convolutional Networks (GCNs) made simple:

[3] Paper Semi-supervised Classification with Graph Convolutional Networks (2017):

[4] GCN source code:

[5] Demo with StellarGraph library:

雷锋字幕组是一个由AI爱好者组成的翻译团队，汇聚五五多位志愿者的力量，分享最新的海外AI资讯，交流关于人工智能技术领域的行业转变与技术创新的见解。

团队成员有大数据专家，算法工程师，图像处理工程师，产品经理，产品运营，IT咨询人，在校师生；志愿者们来自IBM，AVL，Adobe，阿里，百度等知名企业，北大，清华，港大，中科院，南卡罗莱纳大学，早稻田大学等海内外高校研究所。

如果，你也是位热爱分享的AI爱好者。欢迎与雷锋字幕组一起，学习新知，分享成长。

大数据的核心是数据智能。数据智能的本质是在大量样本中发现、评估若干概念之间的关联性，归纳形成数学表达，再利用数学表达进行推理运算，从而完成对未知样本的判断决策。这就需要发现海量数据背后的规律，解决数据表征问题。数据智能先后经历了专家系统、传统机器学习和神经网络三个阶段，输入的知识从具体到抽象，从规则到特征再到模式，越来越宏观，智能化处理效率越来越高，对底层的感知和模型的可解释性越来越弱化。随着专家系统逐渐淡出，传统机器学习和神经网络成为数据智能的两大常见技术。实践证明，随着数据集样本的增多，传统机器学习的性能不及神经网络（见图一）。这主要归结于前者的表达能力不如后者。Goodfellow在2013年ICML（国际机器学习大会）上发表了论文《MaxoutNetworks》（最大输出网络）。在这篇论文中证明了MaxoutNetworks能够无限逼近任意连续函数。也即是说，神经网络能够拟合任意连续函数，与传统机器学习相比，神经网络具有突出的表达能力优势。（上图）：横轴代表数据量，纵轴代表算法精度我们看到几个趋势：行业数据量指数级增长、以GPU为代表的专业芯片算力增长、新型算法层出不穷、学术界的前沿研究、投资界的资金投入、工商业的多种场景，这些因素都促进了神经网络快速发展。神经网络的发展形态有两种方向：一是以DNN深度全连接和CNN卷积神经网络为代表的纵向发展，即层数增多的纵向迭代，典型应用是CV计算机视觉；二是以RNN循环神经网络为代表的横向发展，即神经元之间的横向迭代，典型应用是以NLP自然语言理解为代表的序列处理。神经网络技术同时呈现两种发展形态，并在多个领域有广泛应用，就说明这个技术已经进入成熟期了。下一步往哪个方向发展？很有可能是：将纵向发展和横向发展进行结合，渗透到更多的应用领域。这看似顺水推舟的事情。事实证明，这个判断是正确的，图神经网络就是二者的结合。纵观技术圈的发展历史，可以总结出这样的事实：一个理论技术能否在更多的领域推广，关键取决于它能否真实地刻画现实世界的实体特征和关系。如果它刻画得越真实，那么它的应用场景就越多。比如马尔科夫链这个理论，就真实地刻画了现实世界中的时序对象的特征和依赖关系，因此它广泛应用在语音理解、机器翻译、国民经济、事件预测等领域；再如概率图理论，用图来表示事件概率的依存关系，也是真实刻画了现实世界中的实体关系，因此它也广泛应用在反欺诈、图像理解、事件预测等领域。从方法论看，要刻画现实世界的实体，就必须在模型中置入代表这个实体的节点，并且设计出实体之间的依赖关系转化。但无论是马尔科夫链还是概率图等方法，都弱化了嵌入表示，从而丢失了一些隐语义信息，是有缺憾的。图神经网络（GraphNeural Networks，GNN）的问世，使事情出现了转机。在图神经网络中，存在两种网络。一种是拓扑结构网络，通常描述众多实体及其关系；另一种是特征变换神经网络，通常用于节点、边、图或子图的特征转化。前者完成信息横向传播，实现图信号的拓扑关系传递，理论依据是图论；后者完成信息纵向传播，实现原始特征向嵌入表示的转化，理论依据是深度学习。图神经网络是图论与深度学习的完美结合，它既考虑了实体关系，又考虑了实体特征。与传统图方法和传统深度学习相比，图神经网络具有明显的优势：建模来源数据更充分，更能反映现实世界中实体之间的真实关系，它既能从图结构代表的非欧式空间数据中学习到语义表示，又能让学习到的语义表示最大限度地符合图结构的实体关系。现实世界中80%以上的数据更适合用图结构来刻画，比如交通数据、社交数据、分子结构数据、行业经济数据等。图神经网络能适应这样的数据，在分布式学习架构下，图神经网络能处理的数据规模非常庞大，非常适合处理数亿节点的产业数据。因此图神经网络的应用场景更为广泛。近三年来，各种国际顶会关于图神经网络的论文频频发布，众多互联网科技公司（如阿里、百度、字节跳动）花重金在这一领域布局，并取得重大进展，广泛应用于关联搜索、实时推荐、风险防控、异常检测、行为预测、模式识别等。这些现象无疑说明了图神经网络是未来技术发展的重要领域方向。综上所述，在行业数据、算法理论、算力支持、市场需求、资本涌入等背景下，图神经网络的迅速崛起是大数据时代发展的必然。

首页

> 学术期刊知识库

人工神经网络研究论文