发布时间：
深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]
1绪论1.1研究背景与研究目的意义中国互联网络信息中心（CNNIC，2018）发布了截至2018年12月的第43次中国互联网发展统计报告。根据该报告，截至2018年12月，中国互联网用户数量为8.29亿，并且每年保持在5000多万增量。而且这种趋势将在未来几年继续保持。5G时代的来临将会加快促进互联网与其他产业融合，网络规模必然会进一步增大。传统的网络管理系统以分布式网络应用系统为基础，采用软件和硬件相结合的方式。SNMP协议是目前网络管理领域运用最为广泛的网络管理协议，它将从各类网络设备中获取数据方式进行了统一化，几乎所有的网络设备生产厂商都支持此协议。然而传统的基于SNMP的网络管理软件大多基于C/S架构，存在着扩展性和灵活性差，升级维护困难等缺点，对网为网络的管理带来了一定程度的不便。因此，基于三层的网管系统己经成为发展趋势，随着Web技术迅猛发展，诞生了以Web浏览器和服务器为核心，基于B/S ( Browser/Server)架构的“Web分布式网络管理系统”，它具有不依赖特定的客户端应用程序，跨平台，方便易用，支持分布式管理，并且可动态扩展和更新等优点。本文将重点研究基于BP故障诊断模型，实现了一种以接口故障为研究对象的智能网络管理系统模型，并以此为基础，设计与实现基于web的智能网络管理系统，不仅可以通过对网络数据实时监控，而且基于BP网络故障诊断模型可以诊断通信网中的接口故障，在一定程度上实现网络故障管理的自动化。该系统在保证网络设备提供稳定可靠的网络服务同时，也可以降低企业在维护网络设备上的成本。1.2国内外研究现状网络设备管理是指对各种网络设备(如核心层、汇接层、接入层路由与交换设备、服务器和计算机)进行各种操作和相关配置，管理服务器（Manager）用来处理网络信息，配合管理服务器对网络信息处理并管理的实体被称为代理服务器（Agent），被管对象是指用于提供网络服务或使用网络服务等设备的全部资源信息，各种不同的被管对象构成了管理信息库。在实际的网络管理过程当中，管理服务器和代理服务器以及代理服务器和被管对象三种实体之间都是通过规范的网络管理协议来进行信息的交互（王鹤 2015）。相比国外的网络管理系统及产品，国内相应的网络管理系统和产品起步比较晚，但是随着互联网技术的发展网络管理软件发展势头迅猛，诞生了很多优秀的网络管理软件，这些软件已经广泛运用在我国网络管理领域。1.2.1国外研究现状目前国外大型网络服务商都有与其产品相对应的网络管理系统。从最初步的C/S架构逐步过渡到现在的B/S架构。比较著名的:Cabletron系统公司的SPECTRUM,Cisco公司的CiscoWorks，HP公司的OpenView,Tivoli系统公司的TH NetView。这些网络管理产品均与自家产品相结合，实现了网络管理的全部功能，但是相对专业化的系统依旧采用C/S架构。NetView这款管理软件在网络管理领域最为流行。NetView可以通过分布式的方式实时监控网络运行数据，自动获取网络拓扑中的变化生成网络拓扑。另外，该系统具有强大的历史数据备份功能，方便管理员对历史数据统计管理。OpenView具有良好的兼容性，该软件集成了各个网络管理软件的优势，支持更多协议标准，异种网络管理能力十分强大。CiscoWorks是Cisco产品。该软件支持远程控制网络设备，管理员通过远程控制终端管理网络设备，提供了自动发现、网络数据可视化、远程配置设备和故障管理等功能。使用同一家产品可以更好的服务，因此CiscoWorks结合Cisco平台其他产品针对Cisco设备可以提供更加细致的服务。Cabletron的SPECTRUM是一个具有灵活性和扩展性的网络管理平台，它采用面向对象和人工智能的方法，可以管理多种对象实体，利用归纳模型检查不同的网络对象和事件，找到它们的共同点并归纳本质。同时，它也支持自动发现设备，并能分布式管理网络和设备数据。1.2.2国内研究现状随着国内计算机发展迅猛，网络设备规模不断扩大，拓扑结构复杂性也随之日益增加，为应对这些问题，一大批优秀的网络管理软件应运而生。像南京联创OSS综合网络管理系统、迈普公司Masterplan等多个网络管理系统。华为公司的iManager U2000网络管理系统，北京智和通信自主研发的SugarNMS开源网络管理平台，均得到较为广泛应用。Masterplan主要特点是能够对网络应用实现良好的故障诊断和性能管理，适用于网络内服务器、网络设备以及设备上关键应用的监测管理。SugarNMS具有一键自动发现、可视化拓扑管理、网络资源管理、故障管理、日志管理、支付交付等功能，并提供C/S和B/S两种使用方式。iManager U2000定位于电信网络的网元管理层和网络管理层，采用开放、标准、统一的北向集成，很大程度上缩短OSS集成时间，系统运行以业务为中心，缩短故障处理时间，从而减少企业故障处理成本。近些年来，随着人工智能技术的崛起，越来越多的企业开始将人工智能技术应用在网络管理上面，替代传统的集中式网络管理方式。为了减小企业维护网络的成本，提高网管人员工作效率，智能化、自动化的网络管理系统成为许多学者研究的热点。1.3神经网络在网络管理中的适用性分析网络管理的功能就是对网络资源进行管控、监测通信网络的运行状态以及排查网络故障。管控网络资源，本质上就是管理员为了满足业务需求下发相关设备配置命令改变网络设备状态，以保证稳定的服务；监测网络运行状态一般是指周期的或者实时的获取设备运行状态进行可视化，以方便管理员进行分析当前设备是否正常运行。排查网络故障是管理员通过分析网络设备运行数据与以往数据进行比较或者根据自身经验进行分析，确定故障源头、故障类别、产生原因、解决方法。故障排除是针对前一阶段发现的网络故障进行特征分析，按照诊断流程得出结果，执行特定的指令动作来恢复网络设备正常运行（洪国栋，2016）。神经网络具有并行性和分布式存储、自学习和自适应能力、非线性映射等基本特点。当下最为流行的神经网络模型就是BP(Back-Propagation)神经网络，是一种按照误差逆向传播算法训练多层前馈神经网络，属于监督式学习神经网络的一种。该模型分为输入层、隐含层以及输出层，网络模型在外界输入样本的刺激不断改变连接权值，将输出误差以某种形式通过隐含层向输入层逐层反转，使得网络输出不断逼近期望输出，其本质就是连接权值的动态调整。BP神经网络拥有突出的泛化能力，善于处理分类问题。BP网络是目前常用的误差处理方式，在众多领域得到了广泛的应用，它的处理单元具有数据量大、结构简单等特点，并且神经网络以对大脑的生理研究成果为基础，模拟大脑某些机制与机理组成十分繁杂的非线性动力学系统，其在处理网络设备运行中的数据时以及在比较模糊信号问题的时候，能够自主学习并得出需要的结果。能够将模型中输入输出矢量进行分类、连接、来适应复杂的传输存储处理。因此，本文会基于现有网络管理技术结合BP神经网络去解决网络故障问题。1.4本文主要研究目标1.4.1本文研究目标针对传统网络管理中故障方案的问题与不足，本文探究基于BP神经网络的方法来构建基于通信网接口故障诊断模型。通过构建的通信网接口故障诊断模型可以有效的诊断接口故障并判别出故障类型。推动现有网络管理系统更趋近于智能化。以此为基础，分析、设计、实现基于三层架构的智能网络管理系统1.4.2技术路线智能网络研究首先要确定该系统的开发技术路线，课题研究的主要过程首先是在查阅相关科研资料的基础上，搭建实验环境。在保证网络正常通信的前提下采集各个端口的流入流出流量，记录设备的运行状态并对设备进信息进行管理。同时布置实验环境相应故障，包括：改变端口状态、更改端口ip地址、子网掩码，采集通讯网络接口故障发生时网络拓扑中产生的异常数据。查阅BP神经网络在故障在诊断方面的相关论文，基于网络通讯设备接口的常见故障以及相关故障文档构建BP神经网络故障模型，并判断故障模型的有效性。逐步地实现系统的全部功能。最后进行系统测试，得出结论，应用于实际。1.5本文组织结构本文主要由六个章节构成，各章节主要内容如下：第一章绪论。本章首先简要介绍了网络管理系统当前的发展及应用现状从而进一步分析出建立智能网络管理系统的重要意义。阐述了网络管理系统国内外研究现状。最后论述了本文研究目的与组织结构。第二章相关概念及相关技术。本章对SNMP的相关技术进行详细介绍，SNMP组织模型 、SNMP管理模型、SNMP信息模型、SNMP通讯模型。然后对前端框架Vue和绘图插件Echarts技术进行介绍，其次介绍了常见的故障分析技术，专家系统、神经网络等，最后对神经网络基本概念和分类进行简要描述。第三章基于BP神经网络故障推理模型。介绍了BP神经网络的基本概念、网络结构、设计步骤、训练过程，以接口故障为例详细介绍了BP神经网络故障模型的构建过程。第四章智能网络管理系统分析与系统设计。首先进行了需求分析，其次对体系结构设计、系统总体模块结构设计进行说明，对系统各个功能模块分析设计结合活动图进行详细说明，最后对数据库设计进行简要说明。第五章智能网络管理系统的实现。对整体开发流程进行了说明，对用户管理模块、配置管理模块、设备监控模块、故障诊断模块实现流程进行描述并展示实现结果。第六章系统测试与结论。并对系统的部分功能和性能进行了测试，并加以分析。第七章总结与展望。总结本文取得的研究成果和存在的问题，并提出下一步改进系统的设想与对未来的展望。2相关概念及相关技术2.1网络管理概述网络管理就是通过合适手段和方法，确保通信网络可以根据设计目标稳定，高效运行。不仅需要准确定位网络故障，还需要通过分析数据来预先预测故障，并通过优化设置来降低故障的发生率。网络管理系统的五大基本功能，分别为:配置管理、性能管理、故障管理、计费管理和安全管理：1）配置管理：配置管理是最重要和最基础的部分。它可以设置网络通讯设备的相关参数，从而管理被管设备，依据需求周期的或实时的获取设备信息和运行状态，检查和维护设备状态列表，生成数据表格，为管理员提供参考和接口以更改设备配置。2）性能管理：性能管理是评估系统网络的运行状态和稳定性，主要工作内容包括从被管理对象获取与网络性能相关数据，对这些数据进行统计和分析，建立模型以预测变化趋势、评估故障风险，通过配置管理模块修改网络参数，以确保网络性能最优利用网络资源保证通信网络平稳运行。3）故障管理：故障管理的主要功能就是及时辨别出网络中出现的故障，找出故障原因，分析并处理故障。故障管理一般分为四个部分：（1）探测故障。通过被管设备主动向管理站发送故障信息或者管理站主动轮询被管设备两种方式发现故障源。（2）发出告警。管理站发现故障信息之后，会以短信、信号灯等方式提示管理员。（3）解决故障。对故障信息进行分析，明确其故障原因和类型，找到对应方法得以解决。（4）保存历史故障数据。对历史故障数据进行维护备份，为以后的故障提供一定依据，使得处理网络故障更为高效。4）计费管理：计费管理主要功能是为客户提供一个合理的收费依据，通过将客户的网络资源的使用情况进行统计，例如将客户消费流量计算成本从而向客户计费。5）安全管理：目的就是保证网络能够平稳安全的运行，可以避免或者抵御来自外界的恶意入侵，防止重要数据泄露，例如用户的个人隐私泄露问题等。根据网络管理系统的体系结构和ISO定义的基本功能，基于Web的网络管理系统基本模型如图基于Web的网络管理系统基本模型所示，整个模型包括六个组成部分:Web浏览器，Web服务器，管理服务集，管理信息库，网络管理协议，被管资源。 2.2 SNMP协议简单网络管理协议SNMP(Simple Network Management Protocol)，既可以作为一种协议，也可以作为一套标准。事实上SNMP己经成为网络管理领域的工业标准，从提出至今共有八个版本，在实践中得到广泛应用的有三个版本，分别是SNMPv1, SNMPv2c和SNMPv3（唐明兵2017）。最初的SNMPv1主要是为了满足基于TCP/IP的网络管理而设计的，但是随着网络管理行业的迅猛发展，第一版本的SNMP协议已经不适应网络行业的发展，身份验证、批量数据传输问题等暴露导致SNMPv1难以支持日益庞大的网络设备。第二版本就演变成了一个运行于多种网络协议之上的网络管理协议，较第一版本有了长足的进步，不仅提供了更多操作类型，支持更多的数据类型而且提供了更加丰富的错误代码，能够更加细致的区分错误，另外支持的分布式管理在一定程度上大大减轻了服务器的压力。但是SNMPv2c依旧是明文传输密钥，其安全性有待提高。直到1998年正式推出SNMPv3，SNMPv3的进步主要体现在安全性能上，他引入USM和VACM技术，USM添加了用户名和组的概念，可以设置认证和加密功能，对NMS和Agent之间传输的报文进行加密，提升其安全性防止窃听。VACM确定用户是否允许特定的访问MIB对象以及访问方式。2.2.1 SNMP管理模型与信息模型SNMP系统包括网络管理系统NMS（Network Management System）、代理进程Agent、被管对象Management object和管理信息库MIB（Management Informoation Base）四部分组成.管理模型图如图所示：1）NMS称为网络管理系统，作为网络管理过程当中的核心，NMS通过SNMP协议向网络设备发送报文，并由Agent去接收NMS发来的管理报文从而对设备进行统一管控。NMS可以主动向被管对象发送管理请求，也可以被动接受被管对象主动发出的Trap报文。2）Agent相当于网络管理过程中的中间件，是一种软件，用于处理被管理设备的运行数据并响应来自NMS的请求，并把结果返回给NMS。Agent接收到NMS请求后，通过查询MIB库完成对应操作，并把数据结果返回给NMS。Agent也可以作为网络管理过程中的中间件不仅可以使得信息从NMS响应到具体硬件设备上，当设备发生故障时，通过配置Trap开启相应端口，被管设备也可以通过Agent主动将事件发送到NMS，使得NMS及时发现故障。3）Management object指被管理对象。一个设备可能处在多个被管理对象之中，设备中的某个硬件以及硬件、软件上配置的参数集合都可以作为被管理对象。4）MIB是一个概念性数据库，可以理解为Agent维护的管理对象数据库，里面存放了被管设备的相关变量信息。MIB库定义了被管理设备的一系列属性：对象的名称、对象的状态、对象的访问权限和对象的数据类型等。通过读取MIB变量的值， Agent可以查询到被管设备的当前运行状态以及硬件信息等，进而达到监控网络设备的目的。Agent可以利用修改对应设备MIB中的变量值，设置被管设备状态参数来完成设备配置。SNMP的管理信息库是树形结构，其结构类型与DNS相似，具有根节点且不具有名字。在MIB功能中，每个设备都是作为一个oid树的某分支末端被管理。每个OID（object identifier，对象标识符）对应于oid树中的一个管理对象且具有唯一性。有了树形结构的特性，可以高效迅速地读取其中MIB中存储的管理信息及遍历树中节点，读取顺序从上至下。目前运用最为广泛的管理信息库是MIB-Ⅱ，它在MIB-Ⅰ的基础上做了扩充和改进。MIB-Ⅱ结构示意图如2.3图如所示：（1）system组：作为MIB中的基本组，可以通过它来获取设备基本信息和设备系统信息等。（2）interfac组：定了有关接口的信息，例如接口状态、错误数据包等，在故障管理和性能管理当中时常用到。（3）address translation组:用于地址映射。（4）ip组：包含了有关ip的信息，例如网络编号，ip数据包数量等信息。（5）icmp组：包含了和icmp协议有关信息，例如icmp消息总数、icmp差错报文输入和输出数量。（6）tcp组：包含于tcp协议相关信息，例如tcp报文数量、重传时间、拥塞设置等。应用于网络拥塞和流量控制。（7）udp组：与udp协议相关，可以查询到udp报文数量，同时也保存了udp用户ip地址。（8）egp组：包含EGP协议相关信息，例如EGP协议下邻居表信息、自治系统数。（9）cmot组：为CMOT协议保留（10）transmission组：为传输信息保留（11）snmp组：存储了SNMP运行与实现的信息，例如收发SNMP消息数据量。2.2.2 SNMP通讯模型SNMP规定了5种协议基本数据单元PDU，用于管理进程与代理进程之间交换。（1）get-request操作：管理进程请求数据。（2）get-next-request操作：在当前操作MIB变量的基础上从代理进程处读取下一个参数的值。（3）set-request操作：用于对网络设备进行设置操作。（4）get-response操作：在上面三种操作成功返回后，对管理进程进行数据返回。这个操作是由代理进程返回给管理进程。（5）trap操作：SNMP代理以异步的方式主动向SNMP管理站发送Trap数据包。一般用于故障告警和特定事件发生。SNMP消息报文包含两个部分：SNMP报头和协议数据单元PDU。根据TCP/IP模型SNMP是基于UDP的应用层协议，而UDP又是基于IP协议的。因此可以得到完整的SNMP报文示意图如下：（1）版本号表示SNMP版本，其中版本字段的大小是版本号减1，如果SNMPv2则显示的字段值是1。（2）团体名（community）本质上是一个字符串，作为明文密钥在管理进程和代理进程之间用于加密传输的消息，一般默认设置成“public”。 （3）请求标识符(request ID)用于消息识别。由管理进程发送消息时自带一个整数值，当代理进程返回消息时带上该标识符。管理进程可以通过该标识符识别出是哪一个代理进程返回的数据从而找到对应请求的报文。（4）差错状态(error status)表示出现错误时由代理进程返回时填入差错状态符0～5中的某一数字，数字对应相关错误信息。差错状态描述符如下表：（5）差错索引(error index)表示在通信过程当中出现上表2.2的差错时，代理进程在应答请求时设置一个整数，整数大小对应差错变量在变量列表中偏移大小。（6）变量名-值对以key-value的方式存储变量名称和对应值。（7）trap报文是代理进程主动向管理进程发送的报文，不必等待管理进程下一次轮询。SNMPv2的trap报文格式较SNMPv1的trap报文格式更趋近于普通的SNMP响应报文，更加统一化。以SNMPv2为例的trap报文格式如下：trap类型已定义的特定trap共有7种，后面的则是由供养商自己定制。Trap类型如下表所示：2.2.3 SNMP组织模型SNMP代理组织分成分散式和集中式模型。在分散模型中，每一个服务器对应一个SNMP代理，可以理解为一一对应的关系，管理站分别与每个被管服务器上的代理进行通信。集中模型当中，在管理服务器上只创建一个SNMP代理。管理站只与管理管理服务器上的SNMP代理进行通信， SNMP代理接收来自某一固定区域的所有数据。如图2.6所示：2.3 Vue为实现前后端分离开发的理念，Vue应运而生。作为构建用户界面框架的Vue.js简单易上手使得前端开发人员不必再编写复杂的DOM操作通过this来回寻找相关节点，很大程度上提高了开发的效率。通过MVVM框架，可以自动完成视图同步数据更新，在对实例new Vue（data:data）进行声明后data中数据将与之相应的视图绑定，一旦data中的数据发生变更，视图中对应数据也会发生相应改变。Vue.js基于MVVM框架实现了视图与数据一致性，MVVM框架可以分为三个部分：Model、ViewModel、View。MVVM框架模式：Vue.js的理念是“一切皆为组件”，可以说组件是Vue.js的最强大功能。组件可以扩展HTML元素，将HTML、CSS、JavaScript封装成可重用的代码组件，可以应用在不同的场景，大大提高效率。它与传统的JavaScript相比，采用虚拟DOM渲染页面。当有数据发生变更时，生成虚拟DOM结构与实际页面结构对比，重新渲染差离部分，进一步提供了页面性能。2.4 EchartsEcharts（Enterprise Charts），它是由百度公司研发的纯JavaScript图表库，可以流畅的运行在PC和移动设备上。ECharts兼容当前主流浏览器，底层依赖轻量级Canvas库ZRender，Echarts提供直观、生动、交互性强、高度自定义化的可视化图标。ECharts包含了以下特性：1）丰富的可视化类型：既有柱状图、折线图、饼图等常规图，也有可用于地理数据可视化的热力图、线图等，还有多维数据可视化的平行坐标。2）支持多种数据格式共存：在4.0+版本中内置的dataset属性支持直接传入包括二维表中。3）多维数据的支持：可以传入多维度数据。4）移动端优化：特别针对移动端可视化进行了一定程度优化，可以使用手指在坐标系中进行缩放、平移。5）动态类型切换：支持不同类型图形随意切换，既可以用柱形图也可以用折线图展示统一数据，可以从不同角度展现数据。6）时间轴：对数据进行可视化的同时，可以分为周期或者定时进行展示，所有利用时间轴可以很好的动态观察数据的变化。2.5目前常见的故障诊断方法2.5.1基于专家系统的故障诊断方法专家系统是目前最常使用的诊断方法。通俗来讲，专家系统就是模拟人类专家去解决现实中某一特定领域的复杂问题。专家系统接收用户界面数据，将数据传递到推理引擎进行推理，做出决策并执行。专家系统作为人工智能的前身，从上世纪60年代开始到现在专家系统的应用已经产生了巨大的经济效益和社会效益，灵活可靠、极高的专业水平和良好的有效机制使得专家系统已经成为最受欢迎、最活跃的领域之一。2.5.2基于模糊理论的故障诊断方法在实际的工业生产过程当中，设备的“故障”状态与“正常”状态之间并没有严格的界限，它们之间存在一定的模糊过渡状态，并且在特征获取、故障判定过程中都中存在一定的模糊性。 因此，该方法不需要建立精确的数学分析模型，本质上是一个模式识别问题。 根据建议的症状参数，得出系统状态。 通常选择“择近原则”和“最大隶属原则”作为基本诊断原理（尤海鑫，2012）。2.5.3基于免疫算法的故障诊断方法通过模拟自然生物免疫系统的功能，即快速识别外来生物和外来生物，最后通过自我排斥将异物排出体外。生物免疫系统还建立了一套算法来测试各种条件，主要是在线检测，通过不合格的自我和外部组织消除系统来实现故障识别的能力。免疫算法的故障诊断方法属于并行处理能力，可以进行很多复杂的操作和处理。同时可以与遗传算法等其他智能优化算法结合使用，以增强自适应能力和自学习能力。从公开的文献中，学者们并不热衷于这种原理的方法。一般来说，在故障诊断领域，目前人工免疫理论的研究尚处于萌芽阶段。2.5.4基于神经网络的故障诊断方法神经网络是由大量简单的神经节点组成的复杂网络，以网络拓扑分布的方式存储信息，利用网络拓扑分布和权重实现对实际问题的非线性映射调整，并运用使用全局并行处理的方式，实现从输入空间到输出空间的非线性映射。该方法属于典型的模型诊断模式，不需要了解内部诊断过程，而是使用隐式方法完全表达知识。在获取知识时，它将自动生成由已知知识和连接节点的权重构成的网络的拓扑结构，并将这些问题完全连接到互连的网络中，有利于知识的自动发现和获取。并行关联推理和验证提供了便利的途径；神经网络通过神经元之间的交互来实现推理机制。
计算机论文是计算机专业毕业生培养方案中的必修环节。学生通过计算机论文的写作，培养综合运用计算机专业知识去分析并解决实际问题的能力，在以后的工作中学以致用，不过我是没时间写，直接联系的诚梦毕业设计，一切搞定而且品质还很高。
对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算法，具有非凡的历史意义和重大的现实意义。 1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )这样的基本问题,而且对多层网络也持悲观态度。这些论点给神经网络研究以沉重的打击,很多科学家纷纷离开这一领域,神经网络的研究走向长达10年的低潮时期。[1] 1974年哈佛大学的Paul Werbos发明BP算法时，正值神经外网络低潮期，并未受到应有的重视。[2] 1983年，加州理工学院的物理学家John Hopfield利用神经网络，在旅行商这个NP完全问题的求解上获得当时最好成绩，引起了轰动[2]。然而,Hopfield的研究成果仍未能指出明斯基等人论点的错误所在,要推动神经网络研究的全面开展必须直接解除对感知器——多层网络算法的疑虑。[1] 真正打破明斯基冰封魔咒的是，David Rumelhart等学者出版的《平行分布处理:认知的微观结构探索》一书。书中完整地提出了BP算法,系统地解决了多层网络中隐单元连接权的学习问题,并在数学上给出了完整的推导。这是神经网络发展史上的里程碑，BP算法迅速走红，掀起了神经网络的第二次高潮。[1,2] 因此，BP算法的历史意义：明确地否定了明斯基等人的错误观点，对神经网络第二次高潮具有决定性意义。 这一点是说BP算法在神经网络领域中的地位和意义。 BP算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用BP算法进行训练[2],包括最近炙手可热的深度学习概念下的卷积神经网络(CNNs)。 BP神经网络是这样一种神经网络模型，它是由一个输入层、一个输出层和一个或多个隐层构成，它的激活函数采用sigmoid函数，采用BP算法训练的多层前馈神经网络。 BP算法全称叫作误差反向传播(error Back Propagation，或者也叫作误差逆传播)算法。其算法基本思想为：在2.1所述的前馈网络中，输入信号经输入层输入，通过隐层计算由输出层输出，输出值与标记值比较，若有误差，将误差反向由输出层向输入层传播，在这个过程中，利用梯度下降算法对神经元权值进行调整。 BP算法中核心的数学工具就是微积分的 链式求导法则 。BP算法的缺点，首当其冲就是局部极小值问题。 BP算法本质上是梯度下降，而它所要优化的目标函数又非常复杂，这使得BP算法效率低下。[1]、《BP算法的哲学思考》，成素梅、郝中华著 [2]、《机器学习》，周志华著 [3]、 Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现 2016-05-13 第一次发布 2016-06-04 较大幅度修改，完善推导过程，修改文章名2016-07-23 修改了公式推导中的一个错误，修改了一个表述错误
一、BP模型概述
误差逆传播(Error Back-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型。
Pall Werbas博士于1974年在他的博士论文中提出了误差逆传播学习算法。完整提出并被广泛接受误差逆传播学习算法的是以Rumelhart和McCelland为首的科学家小组。他们在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息处理》)一书中，对误差逆传播学习算法进行了详尽的分析与介绍，并对这一算法的潜在能力进行了深入探讨。
BP网络是一种具有3层或3层以上的阶层型神经网络。上、下层之间各神经元实现全连接，即下层的每一个神经元与上层的每一个神经元都实现权连接，而每一层各神经元之间无连接。网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，神经元的激活值从输入层经各隐含层向输出层传播，在输出层的各神经元获得网络的输入响应。在这之后，按减小期望输出与实际输出的误差的方向，从输入层经各隐含层逐层修正各连接权，最后回到输入层，故得名“误差逆传播学习算法”。随着这种误差逆传播修正的不断进行，网络对输入模式响应的正确率也不断提高。
BP网络主要应用于以下几个方面：
1)函数逼近：用输入模式与相应的期望输出模式学习一个网络逼近一个函数；
2)模式识别：用一个特定的期望输出模式将它与输入模式联系起来；
3)分类：把输入模式以所定义的合适方式进行分类；
4)数据压缩：减少输出矢量的维数以便于传输或存储。
在人工神经网络的实际应用中，80%～90%的人工神经网络模型采用BP网络或它的变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。
二、BP模型原理
下面以三层BP网络为例，说明学习和应用的原理。
1.数据定义
P对学习模式(xp，dp)，p=1，2，…，P；
输入模式矩阵X[N][P]=(x1，x2，…，xP)；
目标模式矩阵d[M][P]=(d1，d2，…，dP)。
三层BP网络结构
输入层神经元节点数S0=N，i=1，2，…，S0；
隐含层神经元节点数S1，j=1，2，…，S1；
神经元激活函数f1[S1]；
权值矩阵W1[S1][S0]；
偏差向量b1[S1]。
输出层神经元节点数S2=M，k=1，2，…，S2；
神经元激活函数f2[S2]；
权值矩阵W2[S2][S1]；
偏差向量b2[S2]。
学习参数
目标误差ϵ；
初始权更新值Δ0；
最大权更新值Δmax；
权更新值增大倍数η+；
权更新值减小倍数η-。
2.误差函数定义
对第p个输入模式的误差的计算公式为
中国矿产资源评价新技术与评价新模型
y2kp为BP网的计算输出。
3.BP网络学习公式推导
BP网络学习公式推导的指导思想是，对网络的权值W、偏差b修正，使误差函数沿负梯度方向下降，直到网络输出误差精度达到目标精度要求，学习结束。
各层输出计算公式
输入层
y0i=xi，i=1，2，…，S0；
隐含层
中国矿产资源评价新技术与评价新模型
y1j=f1(z1j)，
j=1，2，…，S1；
输出层
中国矿产资源评价新技术与评价新模型
y2k=f2(z2k)，
k=1，2，…，S2。
输出节点的误差公式
中国矿产资源评价新技术与评价新模型
对输出层节点的梯度公式推导
中国矿产资源评价新技术与评价新模型
E是多个y2m的函数，但只有一个y2k与wkj有关，各y2m间相互独立。
其中
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
设输出层节点误差为
δ2k=(dk-y2k)·f2′(z2k)，
则
中国矿产资源评价新技术与评价新模型
同理可得
中国矿产资源评价新技术与评价新模型
对隐含层节点的梯度公式推导
中国矿产资源评价新技术与评价新模型
E是多个y2k的函数，针对某一个w1ji，对应一个y1j，它与所有的y2k有关。因此，上式只存在对k的求和，其中
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
设隐含层节点误差为
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
同理可得
中国矿产资源评价新技术与评价新模型
4.采用弹性BP算法(RPROP)计算权值W、偏差b的修正值ΔW，Δb
1993年德国 Martin Riedmiller和Heinrich Braun 在他们的论文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——弹性BP算法(RPROP)。这种方法试图消除梯度的大小对权步的有害影响，因此，只有梯度的符号被认为表示权更新的方向。
权改变的大小仅仅由权专门的“更新值” 确定
中国矿产资源评价新技术与评价新模型
其中 表示在模式集的所有模式(批学习)上求和的梯度信息，(t)表示t时刻或第t次学习。
权更新遵循规则：如果导数是正(增加误差)，这个权由它的更新值减少。如果导数是负，更新值增加。
中国矿产资源评价新技术与评价新模型
RPROP算法是根据局部梯度信息实现权步的直接修改。对于每个权，我们引入它的
各自的更新值 ，它独自确定权更新值的大小。这是基于符号相关的自适应过程，它基
于在误差函数E上的局部梯度信息，按照以下的学习规则更新
中国矿产资源评价新技术与评价新模型
其中0＜η-＜1＜η+。
在每个时刻，如果目标函数的梯度改变它的符号，它表示最后的更新太大，更新值 应由权更新值减小倍数因子η-得到减少；如果目标函数的梯度保持它的符号，更新值应由权更新值增大倍数因子η+得到增大。
为了减少自由地可调参数的数目，增大倍数因子η+和减小倍数因子η–被设置到固定值
η+=1.2，
η-=0.5，
这两个值在大量的实践中得到了很好的效果。
RPROP算法采用了两个参数：初始权更新值Δ0和最大权更新值Δmax
当学习开始时，所有的更新值被设置为初始值Δ0，因为它直接确定了前面权步的大小，它应该按照权自身的初值进行选择，例如，Δ0=0.1(默认设置)。
为了使权不至于变得太大，设置最大权更新值限制Δmax，默认上界设置为
Δmax=50.0。
在很多实验中，发现通过设置最大权更新值Δmax到相当小的值，例如
Δmax=1.0。
我们可能达到误差减小的平滑性能。
5.计算修正权值W、偏差b
第t次学习，权值W、偏差b的的修正公式
W(t)=W(t-1)+ΔW(t)，
b(t)=b(t-1)+Δb(t)，
其中，t为学习次数。
6.BP网络学习成功结束条件每次学习累积误差平方和
中国矿产资源评价新技术与评价新模型
每次学习平均误差
中国矿产资源评价新技术与评价新模型
当平均误差MSE＜ε，BP网络学习成功结束。
7.BP网络应用预测
在应用BP网络时，提供网络输入给输入层，应用给定的BP网络及BP网络学习得到的权值W、偏差b，网络输入经过从输入层经各隐含层向输出层的“顺传播”过程，计算出BP网的预测输出。
8.神经元激活函数f
线性函数
f(x)=x，
f′(x)=1，
f(x)的输入范围(-∞，+∞)，输出范围(-∞，+∞)。
一般用于输出层，可使网络输出任何值。
S型函数S(x)
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围(0，1)。
f′(x)=f(x)[1-f(x)]，
f′(x)的输入范围(-∞，+∞)，输出范围(0， ]。
一般用于隐含层，可使范围(-∞，+∞)的输入，变成(0，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。
在用于模式识别时，可用于输出层，产生逼近于0或1的二值输出。
双曲正切S型函数
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围(-1，1)。
f′(x)=1-f(x)·f(x)，
f′(x)的输入范围(-∞，+∞)，输出范围(0，1]。
一般用于隐含层，可使范围(-∞，+∞)的输入，变成(-1，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。
阶梯函数
类型1
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围{0，1}。
f′(x)=0。
类型2
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围{-1，1}。
f′(x)=0。
斜坡函数
类型1
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围[0，1]。
中国矿产资源评价新技术与评价新模型
f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。
类型2
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围[-1，1]。
中国矿产资源评价新技术与评价新模型
f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。
三、总体算法
1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法
(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；
(2)计算输入模式X[N][P]各个变量的最大值，最小值矩阵 Xmax[N]，Xmin[N]；
(3)隐含层的权值W1，偏差b1初始化。
情形1：隐含层激活函数f( )都是双曲正切S型函数
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9))输出W1[S1][S0]，b1[S1]。
情形2：隐含层激活函数f( )都是S型函数
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9)输出W1[S1][S0]，b1[S1]。
情形3：隐含层激活函数f( )为其他函数的情形
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9)输出W1[S1][S0]，b1[S1]。
(4)输出层的权值W2，偏差b2初始化
1)产生[-1，1]之间均匀分布的S2×S1维随机数矩阵W2[S2][S1]；
2)产生[-1，1]之间均匀分布的S2×1维随机数矩阵b2[S2]；
3)输出W2[S2][S1]，b2[S2]。
2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法
函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)
(1)输入参数
P对模式(xp，dp)，p=1，2，…，P；
三层BP网络结构；
学习参数。
(2)学习初始化
1) ；
2)各层W，b的梯度值 ， 初始化为零矩阵。
(3)由输入模式X求第一次学习各层输出y0，y1，y2及第一次学习平均误差MSE
(4)进入学习循环
epoch=1
(5)判断每次学习误差是否达到目标误差要求
如果MSE＜ϵ，
则，跳出epoch循环，
转到(12)。
(6)保存第epoch-1次学习产生的各层W，b的梯度值 ，
(7)求第epoch次学习各层W，b的梯度值 ，
1)求各层误差反向传播值δ；
2)求第p次各层W，b的梯度值 ， ；
3)求p=1，2，…，P次模式产生的W，b的梯度值 ， 的累加。
(8)如果epoch=1，则将第epoch-1次学习的各层W，b的梯度值 ， 设为第epoch次学习产生的各层W，b的梯度值 ， 。
(9)求各层W，b的更新
1)求权更新值Δij更新；
2)求W，b的权更新值 ， ；
3)求第epoch次学习修正后的各层W，b。
(10)用修正后各层W、b，由X求第epoch次学习各层输出y0，y1，y2及第epoch次学习误差MSE
(11)epoch=epoch+1，
如果epoch≤MAX_EPOCH，转到(5)；
否则，转到(12)。
(12)输出处理
1)如果MSE＜ε，
则学习达到目标误差要求，输出W1，b1，W2，b2。
2)如果MSE≥ε，
则学习没有达到目标误差要求，再次学习。
(13)结束
3.三层BP网络(含输入层，隐含层，输出层)预测总体算法
首先应用Train3lBP_RPROP( )学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b，然后应用三层BP网络(含输入层，隐含层，输出层)预测。
函数：Simu3lBP( )。
1)输入参数：
P个需预测的输入数据向量xp，p=1，2，…，P；
三层BP网络结构；
学习得到的各层权值W、偏差b。
2)计算P个需预测的输入数据向量xp(p=1，2，…，P)的网络输出 y2[S2][P]，输出预测结果y2[S2][P]。
四、总体算法流程图
BP网络总体算法流程图见附图2。
五、数据流图
BP网数据流图见附图1。
六、实例
实例一 全国铜矿化探异常数据BP 模型分类
1.全国铜矿化探异常数据准备
在全国铜矿化探数据上用稳健统计学方法选取铜异常下限值33.1，生成全国铜矿化探异常数据。
2.模型数据准备
根据全国铜矿化探异常数据，选取7类33个矿点的化探数据作为模型数据。这7类分别是岩浆岩型铜矿、斑岩型铜矿、矽卡岩型、海相火山型铜矿、陆相火山型铜矿、受变质型铜矿、海相沉积型铜矿，另添加了一类没有铜异常的模型(表8-1)。
3.测试数据准备
全国化探数据作为测试数据集。
4.BP网络结构
隐层数2，输入层到输出层向量维数分别为14，9、5、1。学习率设置为0.9，系统误差1e-5。没有动量项。
表8-1 模型数据表
续表
5.计算结果图
如图8-2、图8-3。
图8-2
图8-3 全国铜矿矿床类型BP模型分类示意图
实例二 全国金矿矿石量品位数据BP 模型分类
1.模型数据准备
根据全国金矿储量品位数据，选取4类34个矿床数据作为模型数据，这4类分别是绿岩型金矿、与中酸性浸入岩有关的热液型金矿、微细浸染型型金矿、火山热液型金矿(表8-2)。
2.测试数据准备
模型样本点和部分金矿点金属量、矿石量、品位数据作为测试数据集。
3.BP网络结构
输入层为三维，隐层1层，隐层为三维，输出层为四维，学习率设置为0.8，系统误差1e-4，迭代次数5000。
表8-2 模型数据
4.计算结果
结果见表8-3、8-4。
表8-3 训练学习结果
表8-4 预测结果(部分)
续表
神经网络的是我的毕业论文的一部分4．人工神经网络人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。4.1人工神经网络学习的原理人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。4.2人工神经网络的优缺点人工神经网络由于模拟了大脑神经元的组织方式而具有了人脑功能的一些基本特征，为人工智能的研究开辟了新的途径，神经网络具有的优点在于:（1）并行分布性处理因为人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达一批神经元的输入端，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式计算系统，这样就避免了以往的“匹配冲突”，“组合爆炸”和“无穷递归”等题，推理速度快。（2）可学习性一个相对很小的人工神经网络可存储大量的专家知识，并且能根据学习算法，或者利用样本指导系统来模拟现实环境(称为有教师学习)，或者对输入进行自适应学习(称为无教师学习)，不断地自动学习，完善知识的存储。（3）鲁棒性和容错性由于采用大量的神经元及其相互连接，具有联想记忆与联想映射能力，可以增强专家系统的容错能力，人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来严重的影响。而且克服了传统专家系统中存在的“知识窄台阶”问题。（4）泛化能力人工神经网络是一类大规模的非线形系统，这就提供了系统自组织和协同的潜力。它能充分逼近复杂的非线形关系。当输入发生较小变化，其输出能够与原输入产生的输出保持相当小的差距。（5）具有统一的内部知识表示形式，任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，便于知识库的组织管理，通用性强。虽然人工神经网络有很多优点，但基于其固有的内在机理，人工神经网络也不可避免的存在自己的弱点:（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）神经网络不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。（3）神经网络把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）神经网络的理论和学习算法还有待于进一步完善和提高。4.3神经网络的发展趋势及在柴油机故障诊断中的可行性神经网络为现代复杂大系统的状态监测和故障诊断提供了全新的理论方法和技术实现手段。神经网络专家系统是一类新的知识表达体系，与传统专家系统的高层逻辑模型不同，它是一种低层数值模型，信息处理是通过大量的简单处理元件(结点) 之间的相互作用而进行的。由于它的分布式信息保持方式，为专家系统知识的获取与表达以及推理提供了全新的方式。它将逻辑推理与数值运算相结合，利用神经网络的学习功能、联想记忆功能、分布式并行信息处理功能，解决诊断系统中的不确定性知识表示、获取和并行推理等问题。通过对经验样本的学习，将专家知识以权值和阈值的形式存储在网络中，并且利用网络的信息保持性来完成不精确诊断推理，较好地模拟了专家凭经验、直觉而不是复杂的计算的推理过程。但是，该技术是一个多学科知识交叉应用的领域，是一个不十分成熟的学科。一方面，装备的故障相当复杂;另一方面，人工神经网络本身尚有诸多不足之处:（1）受限于脑科学的已有研究成果。由于生理实验的困难性，目前对于人脑思维与记忆机制的认识还很肤浅。（2）尚未建立起完整成熟的理论体系。目前已提出了众多的人工神经网络模型，归纳起来，这些模型一般都是一个由结点及其互连构成的有向拓扑网，结点间互连强度所构成的矩阵，可通过某种学习策略建立起来。但仅这一共性，不足以构成一个完整的体系。这些学习策略大多是各行其是而无法统一于一个完整的框架之中。（3）带有浓厚的策略色彩。这是在没有统一的基础理论支持下，为解决某些应用，而诱发出的自然结果。（4）与传统计算技术的接口不成熟。人工神经网络技术决不能全面替代传统计算技术，而只能在某些方面与之互补，从而需要进一步解决与传统计算技术的接口问题，才能获得自身的发展。虽然人工神经网络目前存在诸多不足，但是神经网络和传统专家系统相结合的智能故障诊断技术仍将是以后研究与应用的热点。它最大限度地发挥两者的优势。神经网络擅长数值计算，适合进行浅层次的经验推理;专家系统的特点是符号推理，适合进行深层次的逻辑推理。智能系统以并行工作方式运行，既扩大了状态监测和故障诊断的范围，又可满足状态监测和故障诊断的实时性要求。既强调符号推理，又注重数值计算，因此能适应当前故障诊断系统的基本特征和发展趋势。随着人工神经网络的不断发展与完善，它将在智能故障诊断中得到广泛的应用。根据神经网络上述的各类优缺点，目前有将神经网络与传统的专家系统结合起来的研究倾向，建造所谓的神经网络专家系统。理论分析与使用实践表明，神经网络专家系统较好地结合了两者的优点而得到更广泛的研究和应用。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高汽体的压力，而是依靠动能的变化来提高汽体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动汽体运动或者使汽体得到动能，然后使部分动能转化为压力能从而提高汽体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。其中根据压缩机中安装的工作轮数量的多少，分为单级式和多级式。如果只有一个工作轮，就称为单级离心式压缩机，如果是由几个工作轮串联而组成，就称为多级离心式压缩机。在空调中，由于压力增高较少，所以一般都是采用单级，其它方面所用的离心式制冷压缩机大都是多级的。单级离心式制冷压缩机的构造主要由工作轮、扩压器和蜗壳等所组成。 压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器(或中间冷却器)来的制冷剂蒸汽均匀地进入高速旋转的工作轮3(工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给汽体)。汽体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使汽体的压力和速度都得到提高。由工作轮出来的汽体再进入截面积逐渐扩大的扩压器4(因为汽体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高汽体的压力)。汽体流过扩压器时速度减小，而压力则进一步提高。经扩压器后汽体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。 二、离心式制冷压缩机的特点与特性 离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： (1)单机制冷量大，在制冷量相同时它的体积小，占地面积少，重量较活塞式轻5～8倍。 (2)由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 (3)工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 (4)能经济方便的调节制冷量且调节的范围较大。 (5)对制冷剂的适应性差，一台结构一定的离心式制冷压缩机只能适应一种制冷剂。 (6)由于适宜采用分子量比较大的制冷剂，故只适用于大制冷量，一般都在25～30万大卡／时以上。如制冷量太少，则要求流量小，流道窄，从而使流动阻力大，效率低。但近年来经过不断改进，用于空调的离心式制冷压缩机，单机制冷量可以小到10万大卡／时左右。 制冷与冷凝温度、蒸发温度的关系。 由物理学可知，回转体的动量矩的变化等于外力矩，则 T=m(C2UR2-C1UR1) 两边都乘以角速度ω，得 Tω=m(C2UωR2-C1UωR1) 也就是说主轴上的外加功率N为： N=m(U2C2U-U1C1U) 上式两边同除以m则得叶轮给予单位质量制冷剂蒸汽的功即叶轮的理论能量头。 U2 C2 ω2 C2U R1 R2 ω1 C1 U1 C2r β 离心式制冷压缩机的特性是指理论能量头与流量之间变化关系，也可以表示成制冷 W=U2C2U-U1C1U≈U2C2U （因为进口C1U≈0） 又C2U=U2-C2rctgβ C2r=Vυ1/(A2υ2) 故有 W= U22(1- Vυ1 ctgβ) A2υ2U2 式中：V—叶轮吸入蒸汽的容积流量（m3/s） υ1υ2 ——分别为叶轮入口和出口处的蒸汽比容（m3/kg） A2、U2—叶轮外缘出口面积(m2)与圆周速度(m/s) β—叶片安装角 由上式可见，理论能量头W与压缩机结构、转速、冷凝温度、蒸发温度及叶轮吸入蒸汽容积流量有关。对于结构一定、转速一定的压缩机来说，U2、A2、β皆为常量，则理论能量头W仅与流量V、蒸发温度、冷凝温度有关。 按照离心式制冷压缩机的特性，宜采用分子量比较大的制冷剂，目前离心式制冷机所用的制冷剂有F—11、F—12、F—22、F—113和F—114等。我国目前在空调用离心式压缩机中应用得最广泛的是F—11和F—12，且通常是在蒸发温度不太低和大制冷量的情况下，选用离心式制冷压缩机。此外，在石油化学工业中离心式的制冷压缩机则采用丙烯、乙烯作为制冷剂，只有制冷量特别大的离心式压缩机才用氨作为制冷剂。 三、离心式制冷压缩机的调节 离心式制冷压缩机和其它制冷设备共同构成一个能量供给与消耗的统一系统。制冷机组在运行时，只有当通过压缩机的制冷剂的流量与通过设备的流量相等时，以及压缩机所产生的能量头与制冷设备的阻力相适应时，制冷系统的工况才能保持稳定。但是制冷机的负荷总是随外界条件与用户对冷量的使用情况而变化的，因此为了适应用户对冷负荷变化的需要和安全经济运行，就需要根据外界的变化对制冷机组进行调节，离心式制冷机组制冷量的调节有：1°改变压缩机的转速；2°采用可转动的进口导叶；3°改变冷凝器的进水量；4°进汽节流等几种方式，其中最常用的是转动进口导叶调节和进汽节流两种调节方法。所谓转动进口导叶调节，就是转动压缩机进口处的导流叶片以使进入到叶轮去的汽体产生旋绕，从而使工作轮加给汽体的动能发生变化来调节制冷量。所谓进汽节流调节，就是在压缩机前的进汽管道上安装一个调节阀，如要改变压缩机的工况时，就调节阀门的大小，通过节流使压缩机进口的压力降低，从而实现调节制冷量。离心式压缩机制冷量的调节最经济有效的方法就是改变进口导叶角度，以改变蒸汽进入叶轮的速度方向(C1U)和流量V。但流量V必须控制在稳定工作范围内，以免效率下降。
随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料，欢迎阅读!
人工神经网络的发展及应用
摘要随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段，是人工智能的重要组成部分，并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾，并对其在各个领域的应用情况进行探讨。
关键词人工神经网络;发展;应用
随着科学技术的发展，各个行业和领域都在进行人工智能化的研究工作，已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支，对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今，经历了不同的发展阶段，并且在经济、生物、医学等领域得到了广泛的应用，解决了许多技术上的难题。
1人工神经网络概述
关于人工神经网络，到目前为止还没有一个得到广泛认可的统一定义，综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性，其具有很强的并行结构以及并行处理的能力，在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性，对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力，因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强，能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟，而且近年来在硬件方面也得到了较大发展，提高了人工神经网络系统的信息处理能力。
2人工神经网络的发展历程
2.1 萌芽时期
在20世纪40年代，生物学家McCulloch与数学家Pitts共同发表文章，第一次提出了关于神经元的模型M-P模型，这一理论的提出为神经网络模型的研究和开发奠定了基础，在此基础上人工神经网络研究逐渐展开。1951年，心理学家Hebb提出了关于连接权数值强化的法则，为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流，为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后，出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型，提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。
2.2 低谷时期
在人工神经网络形成的初期，人们只是热衷于对它的研究，却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究，在1969年对之前所取得的研究成果提出了质疑，认为当前研究出的神经网络只合适处理比较简单的线性问题，对于非线性问题以及多层网络问题却无法解决。由于他们的质疑，使神经网络的发展进入了低谷时期，但是在这一时期，专家和学者也并没有停止对神经网络的研究，针对他们的质疑也得出一些相应的研究成果。
2.3 复兴时期
美国的物理学家Hopfield在1982年提出了新的神经网络模型，并通过实验证明在满足一定的条件时，神经网络是能够达到稳定的状态的。通过他的研究和带动，众多专家学者又重新开始了对人工神经网络方面的研究，推动了神经网络的再一次发展[3]。经过专家学者的不断努力，提出了各种不同的人工神经网络的模型，神经网络理论研究不断深化，新的理论和方法层出不穷，使神经网络的研究和应用进入了一个崭新的时期。
2.4 稳步发展时期
随着人工神经网络研究在世界范围内的再次兴起，我国也迎来了相关理论研究的热潮，在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时，国内对于神经网络领域的研究得到了进一步的完善和发展，而且能够利用神经网络对非线性的系统控制问题进行解决，研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开，我国人工神经网络的研究和应用条件逐步改善，得到了国际的关注。
随着人工神经网络的稳步发展，逐渐建立了光学神经网络系统，利用光学的强大功能，提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题，采取有效措施，提高超平面的光滑性，对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法，虽然保证了精度，但也加大了消耗，在一定程度上降低了神经网络的效率，因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步，提高了神经网络的泛化能力。
3人工神经网络的应用
3.1 在信息领域中的应用
人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展，当代信息处理工作越来越复杂，利用人工神经网络系统可以对人的思维进行模仿甚至是替代，面对问题自动诊断和解决，能够轻松解决许多传统方法无法解决的问题，在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析，对事物进行辨别和解释的一个过程，这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种，一种是统计模式识别，还有一种是结构模式识别，在语音识别和指纹识别等方面得到了广泛的应用。
3.2 在医学领域的应用
人工神经网络对于非线性问题处理十分有效，而人体的构成和疾病形成的原因十分复杂，具有不可预测性，在生物信号的表现形式和变化规律上也很难掌握，信息检测和分析等诸多方面都存在着复杂的非线性联系，所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前，在医学领域中的应用涉及到理论和临床的各个方面，最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。
3.3 在经济领域中的应用
经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测，人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理，与传统的经济统计方法相比具有其无法比拟的优势，数据分析的稳定性和可靠性更强。
3.4 在其他领域的应用
人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用，能够对高难度的非线性问题进行处理，对交通运输方面进行集成式的管理，以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题，促进了各个领域的快速发展。
4总结
随着科技的发展，人工智能系统将进入更加高级的发展阶段，人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代，但是其特有的非线性信息处理能力解决了许多人工无法解决的问题，在智能系统的各个领域中得到成功应用，今后的发展趋势将向着更加智能和集成的方向发展。
参考文献
[1]徐用懋，冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展，1993(5)：8-12，20.
[2]汤素丽，罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用，2009(10)：59-61.
[3]李会玲，柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报，2009(5)：44-46.
[4]过效杰，祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利，2004(1)：22-23.
[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学，2006.
下一页分享更优秀的<<<人工智能神经网络论文
你不翻译了？？？
此文算是对Google Research这篇 A Gentle Introduction to Graph Neural Networks 神作的阅读笔记.十多年来，研究人员开发了一种称之为图神经网络（Graph Neural Networks，GNNs）的技术，旨在将如今在深度学习的诸多任务中摧枯拉朽的神经网络，应用到图结构之上，从而让神经网络捕捉到更错综复杂的交叉特征，以期待在一些任务上取得更佳的效果。鉴于操作图数据结构的复杂性，尽管已经发展了十几年，它在实际应用中却刚刚起步，即时是google也才开始研究将其被应用到药品研发、物理模拟、假新闻检测、交通预测和推荐系统等领域。 尽管GNN是一个新兴的研究领域，但图结构的数据其实在我们身边无处不在。那么什么是图呢？ 这个理科生应该都清楚，图有点(Vertex)和边(Edge)两部分组成，一个图就代表了各个实体节点（node）之间的关系（edge）： 每个节点或者边都可以包含它的一些属性信息，比如如果一个节点表示一个人，那么就可以包含这个人的姓名、性别、身高、体重之类的..我们研究需要的信息。 而这些信息，都可以用通用的向量的形式存入其中： 还有别忘了一点，边是可以有方向的，按此我们还能分为有向图或是无向图。边的方向代表了信息的传递方向，例如a是b的微信好友，那b也是a的微信好友，好友关系自然是没方向的，而比如a是b的爹，那显然b就不是a的爹，此时叫爹的关系就是有有方向的。 图结构的构建是非常灵活的，可以根据个人的设计构建出各种不一样的图。而作为开发者显然要结合实际解决的问题来构建合适的图。 正如前面所提到的，图无处不在。你可能已经熟悉例如知识图谱、社交网络之类的图数据。当时显然，图是一种极其强大的通用数据表示，传统神经网络中用到的欧式空间的数据，同样可以用图来表示，例如可以将图像和文本建模为图结构数据。 比如，我们可以将一张图片的每个像素作为图的节点，再将相邻的像素用边连接起来，就构造了一个该图像的图。 如上图展示了一个5*5的图片的邻接矩阵表示和图表示。 我们将每个单词作为节点，并将每个节点连接到下一个节点，就得到了一个文本的图： 当然，在实践中我们并不会这样来编码文本和图像，因为所有的图和文本都是非常规则的结构，表示成图就多此一举了。 我们再来看一些例子，这些数据的结构更加复杂，除了图之外很难用其他方式来表达。 分子是构成物质的基石，我们可以用节点来表示它的原子和电子，用边来表示共价键，这样便将一个分子表示成了一个图： 不同的图可以表示出不同的分子结构： 都说社会是一个大熔炉，身处其中的人和事物之间会发生极其复杂的关系。这种关系的表示用普通的表格数据是很难表示的，而图却能很好的展现。 下图是将莎士比亚歌剧《奥赛罗》中的任务关系表示成图： 怎么样，如果没看过歌剧能推测出那些是主角吗？ 下面是将一个空手道竞标赛的对战关系构建为图： 类似的可以表示为图的数据还有很多很多，比如论文的引用之类统统都可以表示为图，下面是现实世界中不同规模的数据图表示的统计数据： 可见，各种各样规模的数据都可以轻松的用图来表示。 在上面我们列举了这么多的图，那么我们该对这些图数据执行什么任务呢？ 图上的预测任务一般分为三类： 下面我们通过具体的示例来说明GNN怎么来解决上述的三个级别的预测问题。 在图级别的任务中，我们的目标是预测整个图的属性。例如我们通过分子图，来预测该分子的气味或是者它是否是与某些疾病有关的受体。 它的输入是完整的图： 输出是图的分类： 节点级任务一般就是预测每个节点的类型。 一个经典的例子就是Zach的空手道俱乐部。该数据集市一个单一的社交网络图，犹豫政治分歧，讲师Hi先生和管理员John之间不和导致空手道俱乐部分裂，其中的学员一部分效忠于Hi先生，一部分效忠于John。每个节点代表空手道联系着，边代表空手道之外这些成员的互动，预测问题就是判断这些节点是效忠于谁的。 边级任务其实就是预测每个边的属性. 在目标检测的语义分割任务中,我们也许不止要识别每个目标的类型,还需要预测各个目标之间的关系.我们可以将其描述为边级别的分类任务:给定表示图像中的对象的节点，我们希望预测哪些节点共享一条边，或者该边的值是多少。如果我们希望发现实体之间的连接，我们可以考虑图是完全连通的，并根据它们的预测值修剪边来得到一个稀疏图。 用图表示就是这样的过程: 那么我们要如何使用神经网络来处理上述各种类型的任务呢? 首先要考虑的是如何将图结构数据适配到神经网络. 回想一下啊,传统的神经网络输入的往往是矩阵形式的数据,那么要如何把图作为输入呢? 图表示有四种类型的信息:节点(nodes),边(edges),全局上下文(global-context),联通性(connectivity).对于前三种信息,有一个非常简单的方案,比如将节点排序,然后每个节点表示为一个向量,所有节点就得到了一个节点的矩阵,同理,边和上下文也可以这么搞. 但是要标识连通性就没有这么简单了,也许你会想到用临街矩阵来表示,但是这样表示会有明显的缺陷,因为节点数的规模往往是巨大的,对于一个数百万节点的图,那将耗费大量的空间,而且得到的矩阵往往也十分的稀疏,可以说空间利用率会很低. 当然,你也许会想,可以用稀疏矩阵来存储,这样就只需要存储连通的情况,空间利用率将大大提升,但是我们还要考虑到一点,就是稀疏矩阵的高性能计算一直是个艰难的,尤其是在用到GPU的情况. 并且,使用邻接矩阵还有一个问题就是各种不同的邻接矩阵可以标识相同的连通性,而这些矩阵并不能保证在神经网络中取的相同的效果.比如,同样的连通性,通过调换列的顺序,就能得到不同的邻接矩阵:现在，我们成功的将图结构成功表示成了置换不变的矩阵格式，终于可以使用图形神经网络（GNN）来做图形预测任务了。 GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。 我们将使用Gilmer等人提出的“消息传递神经网络”框架构建GNN,并使用Battaglia等人介绍的图网络网络架构示意图。GNNS采用“图输入，图输出”架构，这意味着这些模型类型接受图作为输入，其中包含节点，边和全局上下文的信息，并逐步地转换这些图嵌入，而不会更改输入的连接图结构。 我们使用最开始提到的那个图来构建一个最简单的GNN,输入的图是相应节点,边,全局信息的向量,我们针对每个向量使用一个MLP层来作变换,于是得到一个新的图. 针对上述构建的最简单的GNN，我们如何在上面描述的任何任务中进行预测呢?这里我们仅仅考虑二进制分类的情况，但这个框架可以很容易地扩展到多类或回归的情况。 如果是对节点分类,我们只要在最后一层接一个线性类器就可以了: 但是上面的预测过程有点过于简单了,完全没有用到图的结构信息,我们在此基础上增加一个pooling操作,以增加它的边缘信息: 具体操作是把待预测节点的邻居节点以及全局的信息进行聚合再做预测,即将这些embedding向量加到一起得到一个新的向量,再输入到最后的线性分类器. 同理,如果我们只有节点相应边的信息的话,也可以用类似的方式pooling,然后得到节点的向量表示再输入分类器: 反之,如果我们只有节点的信息,那么也可以用边所连接的两个节点来pooling出边的向量,然后将器输入到分类器预测边的类型: 显然,不管是哪种任务,整个GNN的推理过程都是一样的,可以表示为这样一个端到端的过程: 不过,显而易见的,这个简单的GNN在分类前只是对每个向量进行了一个变换,而没有用到图结构的任何信息,虽然在最后做预测的时候做了一些pooling的聚合,但也始终没有用到adjacency的信息,因此这个GNN的作用相当有限,但是它为我们提供了一个图结构层变换和堆叠的基本思路. 针对上面最简单GNN的不足,我们可以在其中根据连通性增加更加复杂的变换从而引入整个图结构的信息,我们将这个过程称之为信息传递. 信息传递包含三个步骤: 这个过程有点类似于卷积操作,每个节点汇聚了其邻居的节点,经过多个层的变换,它将涵盖全图的信息. 于是我们可以将这个节点信息传递应用到上述的图变换过程中: 然后,我们发现它并没用用上边的信息,于是可以把边信息也加上,变成这样: 既然把边的信息加上了,那怎么可以漏掉全局信息呢,于是完整的信息传递就可以表示成这样: 以上,我们梳理了最简单的GNNs是怎么完成的,你应该已经对GNN有了一个基本的了解,就像学会了传统神经网络中最简单的全连接网络类似,关于GNN还有更多不同种类的更复杂的图需要取了解和学习,但你只要掌握了以上的思想,学习起来也是十分容易的.
论文:论文地址： 论文题目:《Session-based Recommendation with Graph Neural Networks》SR-GNN github: 基于会话的推荐一般是将序列会话建模，将整个session进行编码，变成一个隐向量，然后利用这个隐向量进行下一个点击预测。但是这种方法没有考虑到item直接复杂的转换(transitions)关系，也就是item之间在点击的session中除了时间顺序外还有复杂的有向图内的节点指向关系，所以之前的方法不足以很好的对点击序列进行建模。 现有基于会话的推荐，方法主要集中于循环神经网络和马尔可夫链，论文提出了现有方法的两个缺点： 1）当一个session中用户的行为数量十分有限时，这些方法难以获取准确的用户行为表示。如当使用RNN模型时，用户行为的表示即最后一个单元的输出，论文认为只有这样并非十分准确。 2）根据先前的工作发现，物品之间的转移模式在会话推荐中是十分重要的特征，但RNN和马尔可夫过程只对相邻的两个物品的 单向转移关系 进行建模，而忽略了会话中其他的物品。 为了克服上述缺陷，本文提出了用图神经网络对方法对用户对session进行建模：下面具体介绍怎么进行图序列推荐 V = {v1,v2...vm}为全部的item，S = { }为一个session里面按时间顺序的点击物品，论文的目标是预测用户下一个要点击的物品vs,n+1，模型的任务是输出所有item的预测概率，并选择top-k进行推荐。 我们为每一个Session构建一个子图，并获得它对应的出度和入度矩阵。 假设一个点击序列是v1->v2->v4->v3，那么它得到的子图如下图中红色部分所示：另一个例子，一个点击序列是v1->v2->v3->v2->v4，那么它得到的子图如下：同时，我们会为每一个子图构建一个出度和入度矩阵，并对出度和入度矩阵的每一行进行归一化，如我们序列v1->v2->v3->v2->v4对应的矩阵如下：这个矩阵里面的值是怎么计算的呢？下面讲一下： 看左边的出度矩阵，第一行为 0 1 0 0 ，代表着v1->v2，因为v1，只有一个指向的item，所以为1；看第二行，0 0 1/2 1/2，因为v2有指向v3和v4的边，所以进行归一化后每一个值都变成了1/2。入度矩阵的计算方法也是一样的，就不再说了。 本文采用的是GRU单元进行序列建模，将图信息嵌入到神经网络中，让GRU充分学习到item之间的关系，传统的GRU只能学到相邻的两个物品之间的关系，加入图信息后就能学到整个session子图的信息。 计算公式如下：为了刚好的理解这个计算过程，我们还是使用之前那个例子：v1->v2->v3->v2->v4来一步步分析输入到输出的过程。 （1） 是t时刻，会话s中第i个点击对应的输入， 是n✖️2n的矩阵，也就是会话子图的完整矩阵，而 是其中一行，即物品vi所对应的那行，大小为1✖️2n，n代表序列中不同物品的数量。 如果按照例子来看，如果i取2，那么 为 [0 0 1/2 1/2 1/2 0 1/2 0] 进一步的，可以把 :拆解为[ , ] （2） 可以理解为序列中第i个物品，在训练过程中对应的嵌入向量，这个向量随着模型的训练不断变化，可以理解为隐藏层的状态，是一个d维向量。 (3) H是d*2d的权重向量，也可以看作是一个分块的矩阵，可以理解为H=[Hin|Hout]，每一块都是d*d的向量。 那么我们来看看计算过程： 1）[ ..., ] ，结果是d * n的矩阵，转置之后是n*d的矩阵，计作 2） : H相当于[ ]，即拆开之后相乘再拼接，因此结果是一个1 * 2d的向量。 上面就是完整的第i个点击的输入的计算过程，可以看到，在进入GRU计算之前，通过跟As,i矩阵相乘，把图信息嵌入到了神经网络中取，加深了神经网络学习到的item之间的交互信息。 此外，就是GRU的计算过程了，跟原始的GRU不一样的地方在于输入从xt变成了嵌入了图信息的as,i。 通样也有更新门和重置门，计算方法跟原始GRU一模一样。 这里的 其实就是相当于原始gru中的 ，只不过在SR-GNN里面，进行一轮运算的时候i是没有变化，相当于每个物品单独进去GRU进行计算，得到自己的向量，也就是说在GRU的计算过程中， 是不断变化的，看一下源码更易于理解： hidden就是公式里面的 ,在gru的每一个step计算中都会进行更新，这里我有个疑问，如果所有item的hidden都更新的话，那么应该是整个序列中所有的item并行进入GRU中进行计算，每一个step都得到自己的vector，当每个item的vector更新后，下一个step就重新根据新的 计算 ，接着计算下一个step。 计算过程大概就是下面这样：这里有四个GRU并行计算，没次更新自己的hidden状态，输入则考虑所有的hidden和图信息。 从上面的图看来，每一个item都要进行T个step得到自己的item-vec，所以经过T个step后，我们就得到了序列中所有item的向量，即：图中用蓝色框框画出来的向量，有了这些向量后，我们怎么得到预测结果呢？这就引入了下一个问题。 观察上面的模型结构，我们看到attention，没错，我们认为一个session中的这些item-vec并不都对预测结果产生影响，有些item对结果影响很大，有些影响很小，所以我们进行了加权求和。同时，论文认为session对最后一个item-vec，s1=vn是重要的，所以单独拿出来：公式(6)就是简单的attention操作，其实从公式上来看就是计算每个vi跟最后一个向量vn的权值，然后进行加权求和。 在最后的输出层，使用sh和每个物品的embedding进行内积计算，这里vi应该是item的embedding层出来的向量，而不是后面一直更新的hidden：最后通过一个softmax得到最终每个物品的点击概率： 损失函数为交叉熵损失函数：从数据上来看，SR-GNN超过了经典的GRU4REC，这也说明了图信息的嵌入能带来更好的推荐效果。 本论文很巧妙的将图信息嵌入的神经网络中，更高地让GRU学习到每个item之间的关系，不再局限于相邻的物品之间进行学习。近年来，图神经网络的思想和方法屡屡被用在推荐系统中，学好图神经网络应该是推荐系统的下一个热潮。
华中科技大学论文格式
导语：论文常用来指进行各个学术领域的研究和描述学术研究成果的文章。下面是由我整理的关于华中科技大学论文格式。欢迎阅读！
一、毕业论文成果的组成
A、封面；
B、毕业论文任务书；
C、毕业设计（论文）评语；
D、标题；
E、中文摘要和关键词；
F、目录；
G、正文；
H、参考文献；
I、谢辞；
L、附录附件。
二、毕业论文及有关资料的装订
毕业论文要按顺序装订，将封面、任务书、评语表、中文摘要和目录、正文、参考文献、谢辞、附录装订在一起。装订时，超出纸张规定尺寸的要折叠。
三、撰写的内容
撰写的内容应包括以下几个方面：
1、标题。标题字数要适当，不宜超过20个字，如果有些细节必须放进标题，可以分成主标题和副标题。
2、论文摘要和关键词。论文中文摘要在300字左右，关键词一般以3～5个为妥。
3、目录。按三级标题编写（即：1……、 1.1……、1.1.1……），附录也应依次列入目录。
4、正文。包括绪论、正文主体与结束语。
5、参考文献。应列入主要的文献可在10篇以内，不宜过多。
6、谢辞。应对在论文撰写过程中曾直接给予指导和帮助的人员表示自己的谢意。
7、附录。对于一些不宜放在正文中，但有参考价值的内容，可编入附录中。
四、毕业论文的写作细则
1、书写。要求用A4纸打印成册，格式要规范。
2、标点符号。应按新闻出版署公布的“标点符号用法”使用。
3、名词、名称。科学技术名词术语尽量采用全国自然科学名词审定委员会公布的规范词或国家标准、部标准中规定的名称，尚未统一规定或叫法有争议的名称术语，可采用惯用的名称。使用外文缩写代替某一名词术语时，首次出现时应在括号内注明其含义。外国人名一般采用英文原名。一般很熟知的外国人名（如牛顿、达尔文、马克思等）可按通常标准译法写译名。
4、量和单位。量和单位必须采用中华人民共和国的国家标准GB3100～GB3102-93，它是以国际单位制（SI）为基础的。非物理量的单位，可用汉字与符号构成组合形式的单位。
5、数字。测量统计数据一律用阿拉伯数字，但在叙述不很大的`数目时，一般不用阿拉伯数字。大约的数字可以用中文数字，也可以用阿拉伯数字。
6、标题层次。全部标题层次应有条不紊，整齐清晰。相同的层次应采用统一的表示体例，正文中各级标题下的内容应同各自的标题对应，不应有与标题无关的内容。各章单独另起一页书写。
标题两级之间用下角圆点隔开，每一级的末尾不加标点。前三层标题均单独占行书写。第一级标题居中书写，序数与标题间空一个汉字；第二级、第三级标题序数顶格书写，后空一格接写标题，末尾不加标点，另起一行书写内容。第四级标题空两汉字书写序数，后空一格书写标题，标题后根据情况可以直接书写内容，也可以另起一行书写内容。此形式尽量避免使用，尽可能采用(1)、(2)……形式作为四级写作内容。第四级以下单独占行的标题可采用①②③…或第一、第二……等形式表示，标题均空两汉字书写序数，后直接书写标题及内容。
7、注释。有个别名词或情况需要解释时，可加注说明，注释可用页末注或篇末注，而不可行中注。页末注释只限于写在注释符号出现的同页，不得隔页。
8、公式。公式号以章分组编号，如（2·4）表示第2章的第4个公式。公式应采用公式编辑程序录入，选择默认格式，公式号右对齐，公式和编号之间不加虚线，公式调整至基本居中。
9、表格。每个表格应有表序和表题，表序以章分组编号。表序和表题应写在表格上方正中，表序后空一格书写表题。表格允许下页接写，表题可省略，表头应重复写，并在右上方写“续表××”。
10、插图。毕业设计的插图必须精心制作，线条粗细要合适，图面要整洁美观。每幅插图应有图序和图题，图序以章分组编号，图序和图题应放在图位下方居中处。图应在描图纸或在白纸上用墨线绘成，也可以用计算机绘图。
11、排版打印格式
（1）中文摘要：采用三号黑体居中打印“摘要”两字，段前段后均设为1行；采用小四号宋体书写内容，格式参照正文。中间空一行书写关键词，“关键词：”空两个汉字书写，采用小四号黑体，后直接书写内容，内容采用小四号宋体书写，格式参照正文。
（2）目录：采用三号黑体居中打印“目录”两字，段前段后均设为1行；采用小四号宋体书写内容，章标题用黑体，其他参照正文格式。
（3）页面设置：A4纸，单面打印。上3cm，下2.5cm，左2.5cm，右2cm，装订线0.5cm，选择“不对称页边距”，页眉1.8cm，页脚1.5cm。
（4）页眉设置：居中以小五号宋体字键入“成人高等教育专升本（专科）毕业设计（论文）”。
（5）页脚设置：插入页码，居中。目录不设页码；正文、参考文献、致谢以阿拉伯数字插入页码。
（6）正文文字：汉字一律采用宋体，标题加黑，章节题目用小三号字，内容采用小四号字汉字宋体，数字和英文采用小四号Times New Roman，
（7）正文段落格式：行距固定值20磅，段前、段后均为0行。标题可适当加宽，设置为段前、段后均为0.5行。
12、参考文献。列出作者直接阅读过、在正文中被引用过的文献资料，一律放在文后，参考文献的书写格式要按国家标准GB7714－87规定。参考文献按在文中出现的先后统一用阿拉伯数字进行连续自然编号，序码宜用方括号括起。
参考文献的第一页编排是采用三号黑体居中打印“参考文献”四字，段前段后均设为1行，采用5号宋体、左起、悬挂缩进、依次打印参考文献。
参考文献的著录格式示例
1、连续出版物
序号 作者. 题名. 刊名，出版年份，卷号（期号）：引文所在的起始或起止页码
2、著作
序号 作者. 书名. 版本(第1版不标注). 出版地：出版者，出版年. 引文所在的起始或起止页码
3、论文集
序号 作者. 题名. 见(英文用In)：主编. 论文集名. 出版地：出版者，出版年. 引文所在的起始或起止页码
4、学位论文
序号 作者. 题名：[博士或硕士学位论文](英文用[Dissertation]). 保存地点： 保存单位，年份
文献著录举例：
[1] 李清雪，张丹，王冬云. 生物滤池净化废气生物膜的培养过程研究. 河北建筑科技学院学报，2003，20（1）：1－3
[2] 丁述理. 煤系高岭石及深加工技术. 北京：中国建材工业出版社，2001. 58－62
[3] Pettersen J, et al. Heat transfer and pressure drop characteristics of supercritical carbon dioxide in microchannel tubes under cooling. In： 4th IIR Gustav Lorentzen conference on natural working fluids, Purdue University, USA. 2000： 99-106
[4] 张明. 基于粗集－神经网络的施工项目安全控制研究：[硕士学位论文].河北：河北工程学院，2004
13、致谢。致谢应实事求是，简洁明了，切忌浮夸与庸俗之词。限一页。编排是采用三号黑体居中打印“致谢”两字，段前段后均设为1行；，采用小四号宋体书写致谢内容，格式参照正文。
14、附录。内容一般包括正文内不便列出的冗长公式推导、辅助性数学工具、符号说明（含缩写）、计算程序、说明等。附在论文最后，超出纸张规定尺寸的要折叠。
在word文件里，怎么设置论文的引用？
深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]
国家标准《文后参考文献著录规则》(GB7714-87)、《科学技术期刊编排格式》(GB/T3179-92)以及《中国学术期刊(光盘版)检索与评价数据规范》，并采用顺序编码标注制。1. 引用的文献在文内标注格式对论文所引用的文献，要按它们在文中出现的先后，在文献的著者或成果叙述文字的右上角用方括号标注序号，或者作为语句的组成部分。例如：·1981年日本仅给出了扁平车轮冲击钢轨的垂直冲击速度公式［1］，……·薛杜普等［2］指出棉酚从体内排泄缓慢。·文献［2］指出，棉酚从体内排泄缓慢。·定理的证明见文献［3］。引用多篇文献或同一著者多篇文献时，只需将各篇文献的序号在方括号内全部列出，各序号间用“，”分开；如遇连续序号，可用“~”连接，略去中间序号。例如：·早期的研究结果［2，4，6-9］表明，……2. 文后参考文献著录格式及示例(1) 书或专著［序号］著者.书名[M].版本(第1版不标注).出版地：出版者，出版年．引文所在的起始或起止页码．［1］翟婉明.车辆-轨道耦合动力学[M].北京：中国铁道出版社，1997.74—80．［2］纳霍德金M Д牵引电机设计[M]李忠武，樊俊杰，李铁元译.北京：中国铁道出版社，1983.21-25.［3］Eisson H N.Immunology:an introduction to molecular and cellular principles of the immune respones［M］.5th ed. New York:Harper and Row,1974.3-6． (2)期刊(连续出版物)［序号］著者.题(篇)名[J].刊名，出版年，卷号(期号)：引文所在的起始或起止页码．［1］史峰，李致中.铁路车流路径的优选算法[J]．铁道学报，1993，15(3)：70．［2］You C H, Lee K Y,Chey R F, et al. Electrogastrographic study of patients with unexplained nausea, bloating and vomiting[J]. Gastroenterology,1980,79:311-314．(3)会议录、论文集、论文汇编中的析出文献［序号］析出文献著者.题(篇)名[A].见(英文用In)：原文献著者.论文集名[C].出版地：出版者，出版年.引文所在起始或起止页码．［1］张玉心.重载货车高摩擦系数合成闸瓦的研制和应用[A].见：中国铁道学会编译.国际重载运输协会制动专题讨论会论文集[C].北京：中国铁道学会，1988.242．［2］Hunninghaks G W,Gadek J B,Szapiel S V ,et al.The human alveolar macrophage[A].In:Harris C C ed.Cultured human cells and issues in biomedical research[C].New York:Academic Press,1980.54-56．(4)学位论文［序号］著者.题(篇)名[D].保存地点：保存单位，年份.引文所在起始或起止页码．［1］党建武.神经网络方法求解组合优化问题的研究[D].成都：西南交通大学，1996.20-25． (5)专利文献［序号］专利所有者.题名[P].专利国别：专利号，出版日期．［1］曾德超.常速高速通用优化犁[P].中国专利：85203720.1，1986-11-13．(6)技术标准［序号］标准编号(标准顺序号-发布年)，标准名称[S].［1］GBJ111-87，铁路工程抗震设计规范[S].(7)报纸［序号］主要责任者.文献题名[N].报纸名，年-月-日(版次)．［1］李四光.中国地震的特点[N].人民日报，1988-08-02(4)．(8)科学技术报告［序号］著者.报告题名[R].出版地：出版者，出版年．页码．［1］朱家荷，韩调.铁路区间通过能力计算方法的研究[R].北京：铁道部科学研究院运输及经济研究所，1989.34．(9)电子文献［序号］主要责任者.电子文献题名[电子文献及载体类型标识].电子文献的出处或可获得地址,发表或更新日期/引用日期(任选). ［1］王明亮.关于中国学术期刊标准化数据库系统工程的进展[EB/OL].http://www.cajcd.edu.cn/pub/wml.txt/980810-2.html,1998-08-16/1998-10-04.［2］万锦坤.中国大学学报论文文载(1983-1993).英文版［DB/CD］.北京:中国大百科全书出版社,1996.(10)其他未定义类型的文献［序号］主要责任者.文献题名［Z］.出版地:出版者,出版年. a.主要责任者（专著作者、论文集主编、学位申报人、专利申请人、报告撰写人、期刊文章作者、析出文章作者）。多个责任者间用“，”分隔，只列姓名，不加“著”、“编”、“主编”等责任说明；责任者超过3人时著录前3人姓名，后加等(英文加 et al)，等前加“,”；人名一律采用姓前名后的著录格式(包含外国人姓名)，姓氏字母全部大写,人名是多字时，全部用单词的第一个大写字母，字母间不加标点。b.文献题名及版本（第一版省略）；c.文献类型及载体标识；d.出版项（出版地、出版者、出版年）；e.文献出处或电子文献的获得地址；f.文献起止页码(起止页码间用短横线“－”标示)；g.文献标准编号（标准号、专利号等）。 2 参考文献类型及标识2.1 纸张型载体参考文献类型和标识专著：M 论文集：C 期刊文章：J 报纸文章：N 学术论文：D 报告：R标准：S 专利：P 析出文献：A 其它文献：Z2.2 电子参考文献类型和标识电子参考文献的标识由文献类型标识和载体类型标识两部分组成，标识为[文献类型标识/载体类型标识]a.文献类型及标识数据库：db 计算机程序：cp 电子公告：ebb.载体类型及标识磁带：mt 磁盘：dk 光盘：cd 联机网络：ol3 参考文献编排格式及示例3.1 编排格式参考文献按照顺序编码制编排，标识“参考文献：”左顶格编排。参考文献序号用数字加方括号表示，左顶格编排，与正文中指示序号一致，参考文献每一条目的最后以“.”结束。 3.2 编排示例3.2.1专著(书)、论文集、学位论文、报告[序号]主要责任者.文献题名[文献类型标识].出版地:出版社(者),出版年.起止页码(任选).[1]朱松然.蓄电池手册[m].天津:天津大学出版社,1998.200-215.[2]kordesh karl v.电池组 第一卷二氧化锰[m].夏熙,袁光钰译.北京:轻工业出版社,1981.20-23.[3]vanmusz k. pattern recognition in chemistry[m].berlin:springer-verlag,1980.5-45.[4]王金良.全国电池无汞化技术交流会论文集[c].苏州:电池工业杂志社,2001.[5]倪佩.氢氧化镍电极的添加剂作用及其机理[d].天津:天津大学,1997.40-42.[6]王敬忠.wto对我国电池行业的影响及对策[r].张家界:中国电池工业协会,2002.[7]ferreira t.battery additives:any influence on separator behavior？[r].ireland:the 7th european lead battery conference,2000-09. 3.2.2期刊（连续出版物）[序号]主要作者.题名[j].刊名，出版年，卷（期）：起止页码.[8]夏熙,木合塔尔?依米提.γ-mno2结构模型现状与emd的性能[j].电池工业,2002,7(3):169-173.[9]guo jin,li chong-he, chen hong-lin,et al.effect of rare earth compositions on the hydrogen storage properties of ab5 type alloys and pattern recognition analysis[j].j electrochemical soc,1997,144:2276.3.2.3论文集中析出的文献[序号]析出文献主要作者.析出文献题名[a].论文集主编(任选).论文集名称[c].出版地：出版者，出版年,析出文献起止页码.[10]冯熙康,王伯良,陈爱松,等.电动汽车用锂离子蓄电池进展[a].上海ev-8会议论文集[c].上海:中国电工技术委员会,2000.10-13.[11]robinson robert s.on-line battery testing:a reliable method for determining battery health?[a].proc intelec ＇96[c].ieee,1996.654-660. 3.2.4报纸文章[序号]作者.题名[n].报纸名,出版日期(版次).[12]毕道治.电动车电池的开发现状及展望[n].中国轻工业报,1999-11-22(6).[13]mcgee k.chemical llc[n].press release,2001-05-14.3.2.5标准[序号]标准编号,标准名称[s].[14]gb/t 7112-1998,r03、r1、r6、r14、r20型锌-锰干电池lr03、lr1、lr6、lr14、lr20型碱性锌-锰干电池[s].[15]iec 60086-2,primary part2:physical and electrical specifications[s].3.2.6专利[序号]专利所有者.专利题名[p].专利国别:专利号,出版日期.[16]许凤山.铅酸蓄电池保护器[p].中国专利:2 473 757,2002-01-23.[17]alber g,migliaro m w.what is really necessary for stationary battery maintenance[p].us：5 744 962,1998.[18]黑河宏史,上原真弓.非水系二次电池[p].日本专利:特开平6-243 871,1994-07-01. 3.2.7电子文献[序号]作者.电子文献题名[电子文献及载体类型标识].出处或可获得地址,发表或更新日期/引用日期(任选).[19]中国电池工业协会.赴台湾交流、考察情况总结[eb/ol].http://www.chnbia.com/00004.doc.[20]izu h.photovoltaic micro-devices[db/ol].http://未定义类型的文献[序号]主要责任者.文献题名[z].出版地:出版者,出版年.[21]中国轻工总会.轻总行管[1997]4号关于限制电池产品汞含量的规定[z].北京:中国轻工总会,1997.