发布时间：
你不翻译了？？？
随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料，欢迎阅读!
人工神经网络的发展及应用
摘要随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段，是人工智能的重要组成部分，并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾，并对其在各个领域的应用情况进行探讨。
关键词人工神经网络;发展;应用
随着科学技术的发展，各个行业和领域都在进行人工智能化的研究工作，已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支，对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今，经历了不同的发展阶段，并且在经济、生物、医学等领域得到了广泛的应用，解决了许多技术上的难题。
1人工神经网络概述
关于人工神经网络，到目前为止还没有一个得到广泛认可的统一定义，综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性，其具有很强的并行结构以及并行处理的能力，在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性，对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力，因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强，能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟，而且近年来在硬件方面也得到了较大发展，提高了人工神经网络系统的信息处理能力。
2人工神经网络的发展历程
萌芽时期
在20世纪40年代，生物学家McCulloch与数学家Pitts共同发表文章，第一次提出了关于神经元的模型M-P模型，这一理论的提出为神经网络模型的研究和开发奠定了基础，在此基础上人工神经网络研究逐渐展开。1951年，心理学家Hebb提出了关于连接权数值强化的法则，为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流，为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后，出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型，提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。
低谷时期
在人工神经网络形成的初期，人们只是热衷于对它的研究，却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究，在1969年对之前所取得的研究成果提出了质疑，认为当前研究出的神经网络只合适处理比较简单的线性问题，对于非线性问题以及多层网络问题却无法解决。由于他们的质疑，使神经网络的发展进入了低谷时期，但是在这一时期，专家和学者也并没有停止对神经网络的研究，针对他们的质疑也得出一些相应的研究成果。
复兴时期
美国的物理学家Hopfield在1982年提出了新的神经网络模型，并通过实验证明在满足一定的条件时，神经网络是能够达到稳定的状态的。通过他的研究和带动，众多专家学者又重新开始了对人工神经网络方面的研究，推动了神经网络的再一次发展[3]。经过专家学者的不断努力，提出了各种不同的人工神经网络的模型，神经网络理论研究不断深化，新的理论和方法层出不穷，使神经网络的研究和应用进入了一个崭新的时期。
稳步发展时期
随着人工神经网络研究在世界范围内的再次兴起，我国也迎来了相关理论研究的热潮，在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时，国内对于神经网络领域的研究得到了进一步的完善和发展，而且能够利用神经网络对非线性的系统控制问题进行解决，研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开，我国人工神经网络的研究和应用条件逐步改善，得到了国际的关注。
随着人工神经网络的稳步发展，逐渐建立了光学神经网络系统，利用光学的强大功能，提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题，采取有效措施，提高超平面的光滑性，对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法，虽然保证了精度，但也加大了消耗，在一定程度上降低了神经网络的效率，因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步，提高了神经网络的泛化能力。
3人工神经网络的应用
在信息领域中的应用
人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展，当代信息处理工作越来越复杂，利用人工神经网络系统可以对人的思维进行模仿甚至是替代，面对问题自动诊断和解决，能够轻松解决许多传统方法无法解决的问题，在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析，对事物进行辨别和解释的一个过程，这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种，一种是统计模式识别，还有一种是结构模式识别，在语音识别和指纹识别等方面得到了广泛的应用。
在医学领域的应用
人工神经网络对于非线性问题处理十分有效，而人体的构成和疾病形成的原因十分复杂，具有不可预测性，在生物信号的表现形式和变化规律上也很难掌握，信息检测和分析等诸多方面都存在着复杂的非线性联系，所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前，在医学领域中的应用涉及到理论和临床的各个方面，最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。
在经济领域中的应用
经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测，人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理，与传统的经济统计方法相比具有其无法比拟的优势，数据分析的稳定性和可靠性更强。
在其他领域的应用
人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用，能够对高难度的非线性问题进行处理，对交通运输方面进行集成式的管理，以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题，促进了各个领域的快速发展。
4总结
随着科技的发展，人工智能系统将进入更加高级的发展阶段，人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代，但是其特有的非线性信息处理能力解决了许多人工无法解决的问题，在智能系统的各个领域中得到成功应用，今后的发展趋势将向着更加智能和集成的方向发展。
参考文献
[1]徐用懋，冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展，1993(5)：8-12，20.
[2]汤素丽，罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用，2009(10)：59-61.
[3]李会玲，柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报，2009(5)：44-46.
[4]过效杰，祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利，2004(1)：22-23.
[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学，2006.
下一页分享更优秀的<<<人工智能神经网络论文
神经网络的是我的毕业论文的一部分4．人工神经网络人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络学习的原理人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。人工神经网络的优缺点人工神经网络由于模拟了大脑神经元的组织方式而具有了人脑功能的一些基本特征，为人工智能的研究开辟了新的途径，神经网络具有的优点在于:（1）并行分布性处理因为人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达一批神经元的输入端，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式计算系统，这样就避免了以往的“匹配冲突”，“组合爆炸”和“无穷递归”等题，推理速度快。（2）可学习性一个相对很小的人工神经网络可存储大量的专家知识，并且能根据学习算法，或者利用样本指导系统来模拟现实环境(称为有教师学习)，或者对输入进行自适应学习(称为无教师学习)，不断地自动学习，完善知识的存储。（3）鲁棒性和容错性由于采用大量的神经元及其相互连接，具有联想记忆与联想映射能力，可以增强专家系统的容错能力，人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来严重的影响。而且克服了传统专家系统中存在的“知识窄台阶”问题。（4）泛化能力人工神经网络是一类大规模的非线形系统，这就提供了系统自组织和协同的潜力。它能充分逼近复杂的非线形关系。当输入发生较小变化，其输出能够与原输入产生的输出保持相当小的差距。（5）具有统一的内部知识表示形式，任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，便于知识库的组织管理，通用性强。虽然人工神经网络有很多优点，但基于其固有的内在机理，人工神经网络也不可避免的存在自己的弱点:（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）神经网络不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。（3）神经网络把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）神经网络的理论和学习算法还有待于进一步完善和提高。神经网络的发展趋势及在柴油机故障诊断中的可行性神经网络为现代复杂大系统的状态监测和故障诊断提供了全新的理论方法和技术实现手段。神经网络专家系统是一类新的知识表达体系，与传统专家系统的高层逻辑模型不同，它是一种低层数值模型，信息处理是通过大量的简单处理元件(结点) 之间的相互作用而进行的。由于它的分布式信息保持方式，为专家系统知识的获取与表达以及推理提供了全新的方式。它将逻辑推理与数值运算相结合，利用神经网络的学习功能、联想记忆功能、分布式并行信息处理功能，解决诊断系统中的不确定性知识表示、获取和并行推理等问题。通过对经验样本的学习，将专家知识以权值和阈值的形式存储在网络中，并且利用网络的信息保持性来完成不精确诊断推理，较好地模拟了专家凭经验、直觉而不是复杂的计算的推理过程。但是，该技术是一个多学科知识交叉应用的领域，是一个不十分成熟的学科。一方面，装备的故障相当复杂;另一方面，人工神经网络本身尚有诸多不足之处:（1）受限于脑科学的已有研究成果。由于生理实验的困难性，目前对于人脑思维与记忆机制的认识还很肤浅。（2）尚未建立起完整成熟的理论体系。目前已提出了众多的人工神经网络模型，归纳起来，这些模型一般都是一个由结点及其互连构成的有向拓扑网，结点间互连强度所构成的矩阵，可通过某种学习策略建立起来。但仅这一共性，不足以构成一个完整的体系。这些学习策略大多是各行其是而无法统一于一个完整的框架之中。（3）带有浓厚的策略色彩。这是在没有统一的基础理论支持下，为解决某些应用，而诱发出的自然结果。（4）与传统计算技术的接口不成熟。人工神经网络技术决不能全面替代传统计算技术，而只能在某些方面与之互补，从而需要进一步解决与传统计算技术的接口问题，才能获得自身的发展。虽然人工神经网络目前存在诸多不足，但是神经网络和传统专家系统相结合的智能故障诊断技术仍将是以后研究与应用的热点。它最大限度地发挥两者的优势。神经网络擅长数值计算，适合进行浅层次的经验推理;专家系统的特点是符号推理，适合进行深层次的逻辑推理。智能系统以并行工作方式运行，既扩大了状态监测和故障诊断的范围，又可满足状态监测和故障诊断的实时性要求。既强调符号推理，又注重数值计算，因此能适应当前故障诊断系统的基本特征和发展趋势。随着人工神经网络的不断发展与完善，它将在智能故障诊断中得到广泛的应用。根据神经网络上述的各类优缺点，目前有将神经网络与传统的专家系统结合起来的研究倾向，建造所谓的神经网络专家系统。理论分析与使用实践表明，神经网络专家系统较好地结合了两者的优点而得到更广泛的研究和应用。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高汽体的压力，而是依靠动能的变化来提高汽体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动汽体运动或者使汽体得到动能，然后使部分动能转化为压力能从而提高汽体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。其中根据压缩机中安装的工作轮数量的多少，分为单级式和多级式。如果只有一个工作轮，就称为单级离心式压缩机，如果是由几个工作轮串联而组成，就称为多级离心式压缩机。在空调中，由于压力增高较少，所以一般都是采用单级，其它方面所用的离心式制冷压缩机大都是多级的。单级离心式制冷压缩机的构造主要由工作轮、扩压器和蜗壳等所组成。 压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器(或中间冷却器)来的制冷剂蒸汽均匀地进入高速旋转的工作轮3(工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给汽体)。汽体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使汽体的压力和速度都得到提高。由工作轮出来的汽体再进入截面积逐渐扩大的扩压器4(因为汽体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高汽体的压力)。汽体流过扩压器时速度减小，而压力则进一步提高。经扩压器后汽体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。 二、离心式制冷压缩机的特点与特性 离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： (1)单机制冷量大，在制冷量相同时它的体积小，占地面积少，重量较活塞式轻5～8倍。 (2)由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 (3)工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 (4)能经济方便的调节制冷量且调节的范围较大。 (5)对制冷剂的适应性差，一台结构一定的离心式制冷压缩机只能适应一种制冷剂。 (6)由于适宜采用分子量比较大的制冷剂，故只适用于大制冷量，一般都在25～30万大卡／时以上。如制冷量太少，则要求流量小，流道窄，从而使流动阻力大，效率低。但近年来经过不断改进，用于空调的离心式制冷压缩机，单机制冷量可以小到10万大卡／时左右。 制冷与冷凝温度、蒸发温度的关系。 由物理学可知，回转体的动量矩的变化等于外力矩，则 T=m(C2UR2-C1UR1) 两边都乘以角速度ω，得 Tω=m(C2UωR2-C1UωR1) 也就是说主轴上的外加功率N为： N=m(U2C2U-U1C1U) 上式两边同除以m则得叶轮给予单位质量制冷剂蒸汽的功即叶轮的理论能量头。 U2 C2 ω2 C2U R1 R2 ω1 C1 U1 C2r β 离心式制冷压缩机的特性是指理论能量头与流量之间变化关系，也可以表示成制冷 W=U2C2U-U1C1U≈U2C2U （因为进口C1U≈0） 又C2U=U2-C2rctgβ C2r=Vυ1/(A2υ2) 故有 W= U22(1- Vυ1 ctgβ) A2υ2U2 式中：V—叶轮吸入蒸汽的容积流量（m3/s） υ1υ2 ——分别为叶轮入口和出口处的蒸汽比容（m3/kg） A2、U2—叶轮外缘出口面积(m2)与圆周速度(m/s) β—叶片安装角 由上式可见，理论能量头W与压缩机结构、转速、冷凝温度、蒸发温度及叶轮吸入蒸汽容积流量有关。对于结构一定、转速一定的压缩机来说，U2、A2、β皆为常量，则理论能量头W仅与流量V、蒸发温度、冷凝温度有关。 按照离心式制冷压缩机的特性，宜采用分子量比较大的制冷剂，目前离心式制冷机所用的制冷剂有F—11、F—12、F—22、F—113和F—114等。我国目前在空调用离心式压缩机中应用得最广泛的是F—11和F—12，且通常是在蒸发温度不太低和大制冷量的情况下，选用离心式制冷压缩机。此外，在石油化学工业中离心式的制冷压缩机则采用丙烯、乙烯作为制冷剂，只有制冷量特别大的离心式压缩机才用氨作为制冷剂。 三、离心式制冷压缩机的调节 离心式制冷压缩机和其它制冷设备共同构成一个能量供给与消耗的统一系统。制冷机组在运行时，只有当通过压缩机的制冷剂的流量与通过设备的流量相等时，以及压缩机所产生的能量头与制冷设备的阻力相适应时，制冷系统的工况才能保持稳定。但是制冷机的负荷总是随外界条件与用户对冷量的使用情况而变化的，因此为了适应用户对冷负荷变化的需要和安全经济运行，就需要根据外界的变化对制冷机组进行调节，离心式制冷机组制冷量的调节有：1°改变压缩机的转速；2°采用可转动的进口导叶；3°改变冷凝器的进水量；4°进汽节流等几种方式，其中最常用的是转动进口导叶调节和进汽节流两种调节方法。所谓转动进口导叶调节，就是转动压缩机进口处的导流叶片以使进入到叶轮去的汽体产生旋绕，从而使工作轮加给汽体的动能发生变化来调节制冷量。所谓进汽节流调节，就是在压缩机前的进汽管道上安装一个调节阀，如要改变压缩机的工况时，就调节阀门的大小，通过节流使压缩机进口的压力降低，从而实现调节制冷量。离心式压缩机制冷量的调节最经济有效的方法就是改变进口导叶角度，以改变蒸汽进入叶轮的速度方向(C1U)和流量V。但流量V必须控制在稳定工作范围内，以免效率下降。
深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]
神经网络的是我的毕业论文的一部分4．人工神经网络人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络学习的原理人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。人工神经网络的优缺点人工神经网络由于模拟了大脑神经元的组织方式而具有了人脑功能的一些基本特征，为人工智能的研究开辟了新的途径，神经网络具有的优点在于:（1）并行分布性处理因为人工神经网络中的神经元排列并不是杂乱无章的，往往是分层或以一种有规律的序列排列，信号可以同时到达一批神经元的输入端，这种结构非常适合并行计算。同时如果将每一个神经元看作是一个小的处理单元，则整个系统可以是一个分布式计算系统，这样就避免了以往的“匹配冲突”，“组合爆炸”和“无穷递归”等题，推理速度快。（2）可学习性一个相对很小的人工神经网络可存储大量的专家知识，并且能根据学习算法，或者利用样本指导系统来模拟现实环境(称为有教师学习)，或者对输入进行自适应学习(称为无教师学习)，不断地自动学习，完善知识的存储。（3）鲁棒性和容错性由于采用大量的神经元及其相互连接，具有联想记忆与联想映射能力，可以增强专家系统的容错能力，人工神经网络中少量的神经元发生失效或错误，不会对系统整体功能带来严重的影响。而且克服了传统专家系统中存在的“知识窄台阶”问题。（4）泛化能力人工神经网络是一类大规模的非线形系统，这就提供了系统自组织和协同的潜力。它能充分逼近复杂的非线形关系。当输入发生较小变化，其输出能够与原输入产生的输出保持相当小的差距。（5）具有统一的内部知识表示形式，任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中，便于知识库的组织管理，通用性强。虽然人工神经网络有很多优点，但基于其固有的内在机理，人工神经网络也不可避免的存在自己的弱点:（1）最严重的问题是没能力来解释自己的推理过程和推理依据。（2）神经网络不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。（3）神经网络把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。（4）神经网络的理论和学习算法还有待于进一步完善和提高。神经网络的发展趋势及在柴油机故障诊断中的可行性神经网络为现代复杂大系统的状态监测和故障诊断提供了全新的理论方法和技术实现手段。神经网络专家系统是一类新的知识表达体系，与传统专家系统的高层逻辑模型不同，它是一种低层数值模型，信息处理是通过大量的简单处理元件(结点) 之间的相互作用而进行的。由于它的分布式信息保持方式，为专家系统知识的获取与表达以及推理提供了全新的方式。它将逻辑推理与数值运算相结合，利用神经网络的学习功能、联想记忆功能、分布式并行信息处理功能，解决诊断系统中的不确定性知识表示、获取和并行推理等问题。通过对经验样本的学习，将专家知识以权值和阈值的形式存储在网络中，并且利用网络的信息保持性来完成不精确诊断推理，较好地模拟了专家凭经验、直觉而不是复杂的计算的推理过程。但是，该技术是一个多学科知识交叉应用的领域，是一个不十分成熟的学科。一方面，装备的故障相当复杂;另一方面，人工神经网络本身尚有诸多不足之处:（1）受限于脑科学的已有研究成果。由于生理实验的困难性，目前对于人脑思维与记忆机制的认识还很肤浅。（2）尚未建立起完整成熟的理论体系。目前已提出了众多的人工神经网络模型，归纳起来，这些模型一般都是一个由结点及其互连构成的有向拓扑网，结点间互连强度所构成的矩阵，可通过某种学习策略建立起来。但仅这一共性，不足以构成一个完整的体系。这些学习策略大多是各行其是而无法统一于一个完整的框架之中。（3）带有浓厚的策略色彩。这是在没有统一的基础理论支持下，为解决某些应用，而诱发出的自然结果。（4）与传统计算技术的接口不成熟。人工神经网络技术决不能全面替代传统计算技术，而只能在某些方面与之互补，从而需要进一步解决与传统计算技术的接口问题，才能获得自身的发展。虽然人工神经网络目前存在诸多不足，但是神经网络和传统专家系统相结合的智能故障诊断技术仍将是以后研究与应用的热点。它最大限度地发挥两者的优势。神经网络擅长数值计算，适合进行浅层次的经验推理;专家系统的特点是符号推理，适合进行深层次的逻辑推理。智能系统以并行工作方式运行，既扩大了状态监测和故障诊断的范围，又可满足状态监测和故障诊断的实时性要求。既强调符号推理，又注重数值计算，因此能适应当前故障诊断系统的基本特征和发展趋势。随着人工神经网络的不断发展与完善，它将在智能故障诊断中得到广泛的应用。根据神经网络上述的各类优缺点，目前有将神经网络与传统的专家系统结合起来的研究倾向，建造所谓的神经网络专家系统。理论分析与使用实践表明，神经网络专家系统较好地结合了两者的优点而得到更广泛的研究和应用。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别，它不是利用汽缸容积减小的方式来提高汽体的压力，而是依靠动能的变化来提高汽体压力。离心式压缩机具有带叶片的工作轮，当工作轮转动时，叶片就带动汽体运动或者使汽体得到动能，然后使部分动能转化为压力能从而提高汽体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入，又不断地沿半径方向被甩出去，所以称这种型式的压缩机为离心式压缩机。其中根据压缩机中安装的工作轮数量的多少，分为单级式和多级式。如果只有一个工作轮，就称为单级离心式压缩机，如果是由几个工作轮串联而组成，就称为多级离心式压缩机。在空调中，由于压力增高较少，所以一般都是采用单级，其它方面所用的离心式制冷压缩机大都是多级的。单级离心式制冷压缩机的构造主要由工作轮、扩压器和蜗壳等所组成。 压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室，并在吸汽室的导流作用引导由蒸发器(或中间冷却器)来的制冷剂蒸汽均匀地进入高速旋转的工作轮3(工作轮也称叶轮，它是离心式制冷压缩机的重要部件，因为只有通过工作轮才能将能量传给汽体)。汽体在叶片作用下，一边跟着工作轮作高速旋转，一边由于受离心力的作用，在叶片槽道中作扩压流动，从而使汽体的压力和速度都得到提高。由工作轮出来的汽体再进入截面积逐渐扩大的扩压器4(因为汽体从工作轮流出时具有较高的流速，扩压器便把动能部分地转化为压力能，从而提高汽体的压力)。汽体流过扩压器时速度减小，而压力则进一步提高。经扩压器后汽体汇集到蜗壳中，再经排气口引导至中间冷却器或冷凝器中。 二、离心式制冷压缩机的特点与特性 离心式制冷压缩机与活塞式制冷压缩机相比较，具有下列优点： (1)单机制冷量大，在制冷量相同时它的体积小，占地面积少，重量较活塞式轻5～8倍。 (2)由于它没有汽阀活塞环等易损部件，又没有曲柄连杆机构，因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 (3)工作轮和机壳之间没有摩擦，无需润滑。故制冷剂蒸汽与润滑油不接触，从而提高了蒸发器和冷凝器的传热性能。 (4)能经济方便的调节制冷量且调节的范围较大。 (5)对制冷剂的适应性差，一台结构一定的离心式制冷压缩机只能适应一种制冷剂。 (6)由于适宜采用分子量比较大的制冷剂，故只适用于大制冷量，一般都在25～30万大卡／时以上。如制冷量太少，则要求流量小，流道窄，从而使流动阻力大，效率低。但近年来经过不断改进，用于空调的离心式制冷压缩机，单机制冷量可以小到10万大卡／时左右。 制冷与冷凝温度、蒸发温度的关系。 由物理学可知，回转体的动量矩的变化等于外力矩，则 T=m(C2UR2-C1UR1) 两边都乘以角速度ω，得 Tω=m(C2UωR2-C1UωR1) 也就是说主轴上的外加功率N为： N=m(U2C2U-U1C1U) 上式两边同除以m则得叶轮给予单位质量制冷剂蒸汽的功即叶轮的理论能量头。 U2 C2 ω2 C2U R1 R2 ω1 C1 U1 C2r β 离心式制冷压缩机的特性是指理论能量头与流量之间变化关系，也可以表示成制冷 W=U2C2U-U1C1U≈U2C2U （因为进口C1U≈0） 又C2U=U2-C2rctgβ C2r=Vυ1/(A2υ2) 故有 W= U22(1- Vυ1 ctgβ) A2υ2U2 式中：V—叶轮吸入蒸汽的容积流量（m3/s） υ1υ2 ——分别为叶轮入口和出口处的蒸汽比容（m3/kg） A2、U2—叶轮外缘出口面积(m2)与圆周速度(m/s) β—叶片安装角 由上式可见，理论能量头W与压缩机结构、转速、冷凝温度、蒸发温度及叶轮吸入蒸汽容积流量有关。对于结构一定、转速一定的压缩机来说，U2、A2、β皆为常量，则理论能量头W仅与流量V、蒸发温度、冷凝温度有关。 按照离心式制冷压缩机的特性，宜采用分子量比较大的制冷剂，目前离心式制冷机所用的制冷剂有F—11、F—12、F—22、F—113和F—114等。我国目前在空调用离心式压缩机中应用得最广泛的是F—11和F—12，且通常是在蒸发温度不太低和大制冷量的情况下，选用离心式制冷压缩机。此外，在石油化学工业中离心式的制冷压缩机则采用丙烯、乙烯作为制冷剂，只有制冷量特别大的离心式压缩机才用氨作为制冷剂。 三、离心式制冷压缩机的调节 离心式制冷压缩机和其它制冷设备共同构成一个能量供给与消耗的统一系统。制冷机组在运行时，只有当通过压缩机的制冷剂的流量与通过设备的流量相等时，以及压缩机所产生的能量头与制冷设备的阻力相适应时，制冷系统的工况才能保持稳定。但是制冷机的负荷总是随外界条件与用户对冷量的使用情况而变化的，因此为了适应用户对冷负荷变化的需要和安全经济运行，就需要根据外界的变化对制冷机组进行调节，离心式制冷机组制冷量的调节有：1°改变压缩机的转速；2°采用可转动的进口导叶；3°改变冷凝器的进水量；4°进汽节流等几种方式，其中最常用的是转动进口导叶调节和进汽节流两种调节方法。所谓转动进口导叶调节，就是转动压缩机进口处的导流叶片以使进入到叶轮去的汽体产生旋绕，从而使工作轮加给汽体的动能发生变化来调节制冷量。所谓进汽节流调节，就是在压缩机前的进汽管道上安装一个调节阀，如要改变压缩机的工况时，就调节阀门的大小，通过节流使压缩机进口的压力降低，从而实现调节制冷量。离心式压缩机制冷量的调节最经济有效的方法就是改变进口导叶角度，以改变蒸汽进入叶轮的速度方向(C1U)和流量V。但流量V必须控制在稳定工作范围内，以免效率下降。
原文： Scalable Object Detection using Deep Neural Networks——学术范 最近，深度卷积神经网络在许多图像识别基准上取得了最先进的性能，包括ImageNet大规模视觉识别挑战(ILSVRC-2012)。在定位子任务中获胜的模型是一个网络，它预测了图像中每个对象类别的单个边界框和置信度得分。这样的模型捕获了围绕对象的整幅图像上下文，但如果不天真地复制每个实例的输出数量，就无法处理图像中同一对象的多个实例。在这篇论文中提出了一个显著性启发的神经网络检测模型，它预测了一组与类无关的边界框，每个框有一个分数，对应于它包含任何感兴趣的对象的可能性。该模型自然地为每个类处理数量可变的实例，并允许在网络的最高级别上进行跨类泛化。 目标检测是计算机视觉的基本任务之一。一个解决这个问题的通用范例是训练在子图像上操作的对象检测器，并在所有的场所和尺度上以详尽的方式应用这些检测器。这一范例被成功地应用于经过区别训练的可变形零件模型(DPM)中，以实现检测任务的最新结果。对所有可能位置和尺度的穷举搜索带来了计算上的挑战。随着类数量的增加，这个挑战变得更加困难，因为大多数方法都训练每个类单独的检测器。为了解决这个问题，人们提出了多种方法，从检测器级联到使用分割提出少量的对象假设。 关于对象检测的文献非常多，在本节中，我们将重点讨论利用类不可知思想和解决可伸缩性的方法。 许多提出的检测方法都是基于基于部件的模型，最近由于有区别学习和精心设计的特征，已经取得了令人印象深刻的性能。然而,这些方法依赖于在多个尺度上详尽地应用零件模板，这是非常昂贵的。此外，它们在类的数量上是可伸缩的，这对像ImageNet这样的现代数据集来说是一个挑战。 为了解决前一个问题，Lampert等人使用分支绑定策略来避免计算所有可能的对象位置。为了解决后一个问题，Song et al.使用了一个低维部件基，在所有对象类中共享。基于哈希算法的零件检测也取得了良好的结果。 另一种不同的工作，与我们的工作更接近，是基于对象可以本地化的想法，而不必知道它们的类。其中一些方法建立在自底向上无阶级分割[9]的基础上。通过这种方式得到的片段可以使用自上而下的反馈进行评分。基于同样的动机，Alexe等人使用一种廉价的分类器对对象假设是否为对象进行评分，并以这种方式减少了后续检测步骤的位置数量。这些方法可以被认为是多层模型，分割作为第一层，分割分类作为后续层。尽管它们编码了已证明的感知原理，但我们将表明，有更深入的模型，充分学习可以导致更好的结果。 最后，我们利用了DeepLearning的最新进展，最引人注目的是Krizhevsky等人的工作。我们将他们的边界盒回归检测方法扩展到以可扩展的方式处理多个对象的情况。然而，基于dnn的回归已经被Szegedy等人应用到对象掩模中。最后一种方法实现了最先进的检测性能，但由于单个掩模回归的成本，不能扩展到多个类。 我们的目标是通过预测一组表示潜在对象的边界盒来实现一种与类无关的可扩展对象检测。更准确地说，我们使用了深度神经网络(DNN)，它输出固定数量的包围盒。此外，它为每个盒子输出一个分数，表示这个盒子包含一个对象的网络信任度。 为了形式化上述思想，我们将i-thobject框及其相关的置信度编码为最后一网层的节点值: Bounding box: 我们将每个框的左上角和右下角坐标编码为四个节点值，可以写成vectorli∈R4。这些坐标是归一化的w. r. t.图像尺寸，以实现图像绝对尺寸的不变性。每个归一化坐标是由最后一层的线性变换产生的。 Confidence: 置信度:包含一个对象的盒子的置信度得分被编码为单个节点valueci∈[0,1]。这个值是通过最后一个隐藏层的线性变换产生的，后面跟着一个sigmoid。 我们可以组合边界盒位置sli,i∈{1，…K}为一个线性层。同样，我们可以将所有置信区间ci,i∈{1，…K}作为一个s型层的输出。这两个输出层都连接到最后一个隐藏层 在推理时，我们的算法生成kbound盒。在我们的实验中，我们使用ek = 100和K= 200。如果需要，我们可以使用置信分数和非最大抑制在推理时获得较少数量的高置信框。这些盒子应该代表对象。因此，它们可以通过后续的分类器进行分类，实现目标检测。由于盒子的数量非常少，我们可以提供强大的分类器。在我们的实验中，我们使用另一个dnn进行分类。 我们训练一个DNN来预测每个训练图像的边界框及其置信度得分，以便得分最高的框与图像的groundtruth对象框很好地匹配。假设对于一个特定的训练例子，对象被标记为boundingboxesgj,j∈{1，…，M}。在实践中，pre- dictionary的数量远远大于groundtruthboxm的数量。因此，我们试图只优化与地面真实最匹配的预测框子集。我们优化他们的位置，以提高他们的匹配度，最大化他们的信心。与此同时，我们将剩余预测的置信度最小化，这被认为不能很好地定位真实对象。为了达到上述目的，我们为每个训练实例制定一个分配问题。Wexij∈{0,1}表示赋值:xij= 1，如果第i个预测被赋值给第j个真对象。这项任务的目标可以表示为 其中，我们使用标准化边界框坐标之间的el2距离来量化边界框之间的不同。此外，我们希望根据分配x优化盒子的可信度。最大化指定预测的置信度可以表示为 最终的损失目标结合了匹配损失和信心损失 受式1的约束。α平衡了不同损失条款的贡献。 对于每个训练例子，我们通过解决一个最佳的赋值x*的预测到真实的盒子 约束执行赋值解决方案。这是二部匹配的一种变体，是一种多项式复杂度匹配。在我们的应用程序中，匹配是非常便宜的——每幅图像中标记的对象的数量少于一打，而且在大多数情况下只有很少的对象被标记。然后，通过反向传播优化网络参数。例如，反向传播算法的一阶导数计算w、r、t、l和c 尽管上述定义的损失在原则上是足够的，但三次修改使其有可能更快地达到更好的准确性。第一个修改是对地面真实位置进行聚类，并找到这样的聚类/质心，我们可以使用这些聚类/质心作为每个预测位置的先验。因此，鼓励学习算法为每个预测位置学习一个残差到一个先验。 第二个修改涉及到在匹配过程中使用这些先验:不是将N个groundtruth位置与K个预测进行匹配，而是在K个先验和groundtruth之间找到最佳匹配。一旦匹配完成，就会像之前一样计算目标的置信度。此外，位置预测损失也不变:对于任何一对匹配的(目标，预测)位置，其损失定义为groundtruth和对应于匹配先验的坐标之间的差值。我们把使用先验匹配称为先验匹配，并假设它促进了预测的多样化。 需要注意的是，尽管我们以一种与类无关的方式定义了我们的方法，但我们可以将它应用于预测特定类的对象盒。要做到这一点，我们只需要在类的边框上训练我们的模型。此外，我们可以预测每个类的kbox。不幸的是，这个模型的参数数量会随着类的数量线性增长。此外，在一个典型的设置中，给定类的对象数量相对较少，这些参数中的大多数会看到很少有相应梯度贡献的训练示例。因此，我们认为我们的两步过程——首先本地化，然后识别——是一个更好的选择，因为它允许使用少量参数利用同一图像中多个对象类型的数据 我们使用的本地化和分类模型的网络架构与[10]使用的网络架构相同。我们使用Adagrad来控制学习速率衰减，128的小批量，以及使用多个相同的网络副本进行并行分布式训练，从而实现更快的收敛。如前所述，我们在定位损失中使用先验——这些是使用训练集上的均值来计算的。我们还使用α = 来平衡局部化和置信度损失。定位器可以输出用于推断的种植区以外的坐标。坐标被映射和截断到最后的图像区域。另外，使用非最大抑制对盒进行修剪，Jaccard相似度阈值为。然后，我们的第二个模型将每个边界框分类为感兴趣的对象或“背景”。为了训练我们的定位器网络，我们从训练集中生成了大约3000万幅图像，并对训练集中的每幅图像应用以下步骤。最后，样品被打乱。为了训练我们的本地化网络，我们通过对训练集中的每一幅图像应用以下步骤，从训练集中生成了大约3000万幅图像。对于每幅图像，我们生成相同数量的平方样本，使样本总数大约为1000万。对于每幅图像，样本被桶状填充，这样，对于0 - 5%、5 - 15%、15 - 50%、50 - 100%范围内的每个比例，都有相同数量的样本，其中被包围框覆盖的比例在给定范围内。训练集和我们大多数超参数的选择是基于过去使用非公开数据集的经验。在下面的实验中，我们没有探索任何非标准数据生成或正则化选项。在所有的实验中，所有的超参数都是通过对训练集。 Pascal Visual Object Classes (VOC)挑战是最常用的对象检测算法基准。它主要由复杂的场景图像组成，其中包含了20种不同的对象类别的边界框。在我们的评估中，我们关注的是2007版VOC，为此发布了一个测试集。我们通过培训VOC 2012展示了结果，其中包含了大约。11000张图片。我们训练了一个100框的定位器和一个基于深度网络的分类器。 我们在一个由1000万作物组成的数据集上训练分类器，该数据集重叠的对象至少为 jaccard重叠相似度。这些作物被标记为20个VOC对象类中的一个。•2000万负作物与任何物体盒最多有个Jaccard相似度。这些作物被贴上特殊的“背景”类标签。体系结构和超参数的选择遵循。 在第一轮中，定位器模型应用于图像中最大-最小中心方形作物。作物的大小调整到网络输入大小is220×220。单次通过这个网络，我们就可以得到上百个候选日期框。在对重叠阈值为的非最大抑制后，保留评分最高的前10个检测项，并通过21路分类器模型分别通过网络进行分类。最终的检测分数是给定盒子的定位分数乘以分类器在作物周围的最大方形区域上评估的分数的乘积。这些分数通过评估，并用于计算精确查全曲线。 首先，我们分析了本地化器在隔离状态下的性能。我们给出了被检测对象的数量，正如Pascal检测标准所定义的那样，与生成的包围框的数量相对比。在图1中，我们展示了使用VOC2012进行训练所获得的结果。此外，我们通过使用图像的最大中心面积(max-center square crop)作为输入以及使用两个尺度(second scale)来给出结果:最大中心面积(max-center crop)的第二个尺度(select3×3windows的大小为图像大小的60%)正如我们所看到的，当使用10个边界框的预算时，我们可以用第一个模型本地化的对象，用第二个模型本地化48%的对象。这显示出比其他报告的结果更好的性能，例如对象度算法达到42%[1]。此外，这个图表显示了在不同分辨率下观察图像的重要性。虽然我们的算法通过使用最大中心作物获得了大量的对象，但当使用更高分辨率的图像作物时，我们获得了额外的提升。进一步，我们用21-way分类器对生成的包围盒进行分类，如上所述。表1列出了VOC 2007的平均精度(APs)。达到的平均AP是，与先进水平相当。注意，我们的运行时间复杂度非常低——我们只使用top10框。示例检测和全精度召回曲线分别如图2和图3所示。值得注意的是，可视化检测是通过仅使用最大中心方形图像裁剪，即使用全图像获得的。然而，我们设法获得了相对较小的对象，例如第二行和第二列的船，以及第三行和第三列的羊。 在本工作中，我们提出了一种新的方法来定位图像中的对象，该方法可以预测多个边界框的时间。该方法使用深度卷积神经网络作为基本特征提取和学习模型。它制定了一个能够利用可变数量的groundtruth位置的多箱定位成本。在“一个类一个箱”方法的情况下，对1000个盒子进行非max-suppression，使用与给定图像中感兴趣的DeepMulti-Box方法相同的准则，并学习在未见图像中预测这些位置。 我们在VOC2007和ILSVRC-2012这两个具有挑战性的基准上给出了结果，在这两个基准上，所提出的方法具有竞争力。此外，该方法能够很好地预测后续分类器将探测到的位置。我们的结果表明，deepmultibox的方法是可扩展的，甚至可以在两个数据集之间泛化，就能够预测感兴趣的定位，甚至对于它没有训练的类别。此外，它能够捕获同一类物体的多种情况，这是旨在更好地理解图像的算法的一个重要特征。 在未来，我们希望能够将定位和识别路径折叠到一个单一的网络中，这样我们就能够在一个通过网络的一次性前馈中提取位置和类标签信息。即使在其当前状态下，双通道过程(本地化网络之后是分类网络)也会产生5-10个网络评估，每个评估的速度大约为1个CPU-sec(现代机器)。重要的是，这个数字并不与要识别的类的数量成线性关系，这使得所提出的方法与类似dpm的方法非常有竞争力。
2018年6月21日，天津大学建筑工程学院发出通报，撤销抄袭论文的2008届建筑与土木工程专业在职研究生李瑞锋硕士学位。
通报称：
近期，学院接到电话举报，反映我院2008届在职研究生李瑞锋硕士学位论文涉嫌抄袭。学院对此事高度重视，成立了调查小组对情况进行核实认定，经调查李瑞锋硕士学位论文抄袭情况属实。
依据《天津大学研究生学术规范》，天津大学学位评定委员会第八分委会于2018年6月12日召开第103次会议，会上讨论了李瑞锋硕士学位论文抄袭情况和处理意见，一致通过撤销李瑞锋原授予学位、追回李瑞锋已授予工程硕士学位证书的决定，并已报请学校学位评定委员会批准。
近日，有网友称，天津大学一篇硕士学位论文涉嫌大面积抄袭内蒙古农业大学的一篇硕士学位论文。
这两篇论文分别是天津大学建筑工程学院建筑与土木工程2008届硕士毕业生李瑞锋的硕士学位论文《BP神经网络在现场混凝土强度预测中的应用研究》（以下简称“李瑞锋论文”）与内蒙古农业大学农业水土工程2005届硕士毕业生武欣慧的硕士学位论文《基于人工神经网络的普通混凝土强度预测的研究》（以下简称“武欣慧论文”）。
武欣慧论文完成于2005年5月，李瑞锋论文的完成时间是2008年5月，从时间上看，李瑞锋论文比武欣慧论文完成时间晚了3年。
澎湃新闻记者从中国知网上下载了上述两篇论文，仔细比对后发现，两篇论文从目录到正文内容都高度雷同，74条参考文献从书名、出版时间到引用的页码都毫无差别。
值得注意的是，李瑞锋论文在“致谢”部分还特别感谢了彼时已成为内蒙古农业大学副教授的武欣慧。
针对李瑞锋论文涉嫌抄袭武欣慧论文并致谢武欣慧一事，近日，澎湃新闻联系到武欣慧了解求证。目前在内蒙古农业大学林学院任教的武欣慧告诉澎湃新闻，她完全不认识李瑞锋，自己的硕士学位论文系原创，对是否被他人抄袭情况并不知情。
比对两篇论文后发现，两篇论文的题目虽然不完全相同，但都以神经网络对混凝土强度的预测应用为研究对象。
两篇论文的中文摘要部分极度相似。武欣慧论文的中文摘要分为两个自然段，具体内容为：
“抗压强度是混凝土最重要的性能之一，是混凝土质量控制的核心内容，同时也是结构设计和施工的重要依据。规范规定评定结构构件的混凝土强度需标准养护28天才能获得，不能满足现代化施工的时间要求，同时又可能留下隐患。因此，发展混凝土强度早期快速测定技术，提高预测精度具有重大意义。
“借鉴国内外有关混凝土强度预测的研究成果，结合人工神经网络基本原理，运用MATLAB神经网络工具箱，就网络的输入向量、网络结构、传递函数及其它参数的选择展开研究。在此基础上，选择内蒙古中西部地区三座野外变电站制作大量同条件养护标准试件，作为网络模型的训练样本和测试样本，分别运用基本BP算法、附加动量因子的自适应调整学习率算法和L—M算法三种方法训练网络，经大量试算和仿真结果比对，最终利用L—M算法建立网络结构合理、收敛速度快、精度高的满足工程要求的普通混凝土强度预测模型，与多元线性回归模型预测结果相比，BP网络模型有更高的精度，将预测误差控制在3%以内，可以极大程度上避免目前混凝土施工中存在的强度预测偏差较大的问题。”
的用电，同时能提高供电电压质量以及供电可靠性。乌拉特前旗气象局提供的30年（1971至2000）气象资料气温统计结果见表4。在本研究中，87组样本取自于本站1#、2#、3#主变压器基础及电缆沟。”
1绪论研究背景与研究目的意义中国互联网络信息中心（CNNIC，2018）发布了截至2018年12月的第43次中国互联网发展统计报告。根据该报告，截至2018年12月，中国互联网用户数量为亿，并且每年保持在5000多万增量。而且这种趋势将在未来几年继续保持。5G时代的来临将会加快促进互联网与其他产业融合，网络规模必然会进一步增大。传统的网络管理系统以分布式网络应用系统为基础，采用软件和硬件相结合的方式。SNMP协议是目前网络管理领域运用最为广泛的网络管理协议，它将从各类网络设备中获取数据方式进行了统一化，几乎所有的网络设备生产厂商都支持此协议。然而传统的基于SNMP的网络管理软件大多基于C/S架构，存在着扩展性和灵活性差，升级维护困难等缺点，对网为网络的管理带来了一定程度的不便。因此，基于三层的网管系统己经成为发展趋势，随着Web技术迅猛发展，诞生了以Web浏览器和服务器为核心，基于B/S ( Browser/Server)架构的“Web分布式网络管理系统”，它具有不依赖特定的客户端应用程序，跨平台，方便易用，支持分布式管理，并且可动态扩展和更新等优点。本文将重点研究基于BP故障诊断模型，实现了一种以接口故障为研究对象的智能网络管理系统模型，并以此为基础，设计与实现基于web的智能网络管理系统，不仅可以通过对网络数据实时监控，而且基于BP网络故障诊断模型可以诊断通信网中的接口故障，在一定程度上实现网络故障管理的自动化。该系统在保证网络设备提供稳定可靠的网络服务同时，也可以降低企业在维护网络设备上的成本。国内外研究现状网络设备管理是指对各种网络设备(如核心层、汇接层、接入层路由与交换设备、服务器和计算机)进行各种操作和相关配置，管理服务器（Manager）用来处理网络信息，配合管理服务器对网络信息处理并管理的实体被称为代理服务器（Agent），被管对象是指用于提供网络服务或使用网络服务等设备的全部资源信息，各种不同的被管对象构成了管理信息库。在实际的网络管理过程当中，管理服务器和代理服务器以及代理服务器和被管对象三种实体之间都是通过规范的网络管理协议来进行信息的交互（王鹤 2015）。相比国外的网络管理系统及产品，国内相应的网络管理系统和产品起步比较晚，但是随着互联网技术的发展网络管理软件发展势头迅猛，诞生了很多优秀的网络管理软件，这些软件已经广泛运用在我国网络管理领域。国外研究现状目前国外大型网络服务商都有与其产品相对应的网络管理系统。从最初步的C/S架构逐步过渡到现在的B/S架构。比较著名的:Cabletron系统公司的SPECTRUM,Cisco公司的CiscoWorks，HP公司的OpenView,Tivoli系统公司的TH NetView。这些网络管理产品均与自家产品相结合，实现了网络管理的全部功能，但是相对专业化的系统依旧采用C/S架构。NetView这款管理软件在网络管理领域最为流行。NetView可以通过分布式的方式实时监控网络运行数据，自动获取网络拓扑中的变化生成网络拓扑。另外，该系统具有强大的历史数据备份功能，方便管理员对历史数据统计管理。OpenView具有良好的兼容性，该软件集成了各个网络管理软件的优势，支持更多协议标准，异种网络管理能力十分强大。CiscoWorks是Cisco产品。该软件支持远程控制网络设备，管理员通过远程控制终端管理网络设备，提供了自动发现、网络数据可视化、远程配置设备和故障管理等功能。使用同一家产品可以更好的服务，因此CiscoWorks结合Cisco平台其他产品针对Cisco设备可以提供更加细致的服务。Cabletron的SPECTRUM是一个具有灵活性和扩展性的网络管理平台，它采用面向对象和人工智能的方法，可以管理多种对象实体，利用归纳模型检查不同的网络对象和事件，找到它们的共同点并归纳本质。同时，它也支持自动发现设备，并能分布式管理网络和设备数据。国内研究现状随着国内计算机发展迅猛，网络设备规模不断扩大，拓扑结构复杂性也随之日益增加，为应对这些问题，一大批优秀的网络管理软件应运而生。像南京联创OSS综合网络管理系统、迈普公司Masterplan等多个网络管理系统。华为公司的iManager U2000网络管理系统，北京智和通信自主研发的SugarNMS开源网络管理平台，均得到较为广泛应用。Masterplan主要特点是能够对网络应用实现良好的故障诊断和性能管理，适用于网络内服务器、网络设备以及设备上关键应用的监测管理。SugarNMS具有一键自动发现、可视化拓扑管理、网络资源管理、故障管理、日志管理、支付交付等功能，并提供C/S和B/S两种使用方式。iManager U2000定位于电信网络的网元管理层和网络管理层，采用开放、标准、统一的北向集成，很大程度上缩短OSS集成时间，系统运行以业务为中心，缩短故障处理时间，从而减少企业故障处理成本。近些年来，随着人工智能技术的崛起，越来越多的企业开始将人工智能技术应用在网络管理上面，替代传统的集中式网络管理方式。为了减小企业维护网络的成本，提高网管人员工作效率，智能化、自动化的网络管理系统成为许多学者研究的热点。神经网络在网络管理中的适用性分析网络管理的功能就是对网络资源进行管控、监测通信网络的运行状态以及排查网络故障。管控网络资源，本质上就是管理员为了满足业务需求下发相关设备配置命令改变网络设备状态，以保证稳定的服务；监测网络运行状态一般是指周期的或者实时的获取设备运行状态进行可视化，以方便管理员进行分析当前设备是否正常运行。排查网络故障是管理员通过分析网络设备运行数据与以往数据进行比较或者根据自身经验进行分析，确定故障源头、故障类别、产生原因、解决方法。故障排除是针对前一阶段发现的网络故障进行特征分析，按照诊断流程得出结果，执行特定的指令动作来恢复网络设备正常运行（洪国栋，2016）。神经网络具有并行性和分布式存储、自学习和自适应能力、非线性映射等基本特点。当下最为流行的神经网络模型就是BP(Back-Propagation)神经网络，是一种按照误差逆向传播算法训练多层前馈神经网络，属于监督式学习神经网络的一种。该模型分为输入层、隐含层以及输出层，网络模型在外界输入样本的刺激不断改变连接权值，将输出误差以某种形式通过隐含层向输入层逐层反转，使得网络输出不断逼近期望输出，其本质就是连接权值的动态调整。BP神经网络拥有突出的泛化能力，善于处理分类问题。BP网络是目前常用的误差处理方式，在众多领域得到了广泛的应用，它的处理单元具有数据量大、结构简单等特点，并且神经网络以对大脑的生理研究成果为基础，模拟大脑某些机制与机理组成十分繁杂的非线性动力学系统，其在处理网络设备运行中的数据时以及在比较模糊信号问题的时候，能够自主学习并得出需要的结果。能够将模型中输入输出矢量进行分类、连接、来适应复杂的传输存储处理。因此，本文会基于现有网络管理技术结合BP神经网络去解决网络故障问题。本文主要研究目标本文研究目标针对传统网络管理中故障方案的问题与不足，本文探究基于BP神经网络的方法来构建基于通信网接口故障诊断模型。通过构建的通信网接口故障诊断模型可以有效的诊断接口故障并判别出故障类型。推动现有网络管理系统更趋近于智能化。以此为基础，分析、设计、实现基于三层架构的智能网络管理系统技术路线智能网络研究首先要确定该系统的开发技术路线，课题研究的主要过程首先是在查阅相关科研资料的基础上，搭建实验环境。在保证网络正常通信的前提下采集各个端口的流入流出流量，记录设备的运行状态并对设备进信息进行管理。同时布置实验环境相应故障，包括：改变端口状态、更改端口ip地址、子网掩码，采集通讯网络接口故障发生时网络拓扑中产生的异常数据。查阅BP神经网络在故障在诊断方面的相关论文，基于网络通讯设备接口的常见故障以及相关故障文档构建BP神经网络故障模型，并判断故障模型的有效性。逐步地实现系统的全部功能。最后进行系统测试，得出结论，应用于实际。本文组织结构本文主要由六个章节构成，各章节主要内容如下：第一章绪论。本章首先简要介绍了网络管理系统当前的发展及应用现状从而进一步分析出建立智能网络管理系统的重要意义。阐述了网络管理系统国内外研究现状。最后论述了本文研究目的与组织结构。第二章相关概念及相关技术。本章对SNMP的相关技术进行详细介绍，SNMP组织模型 、SNMP管理模型、SNMP信息模型、SNMP通讯模型。然后对前端框架Vue和绘图插件Echarts技术进行介绍，其次介绍了常见的故障分析技术，专家系统、神经网络等，最后对神经网络基本概念和分类进行简要描述。第三章基于BP神经网络故障推理模型。介绍了BP神经网络的基本概念、网络结构、设计步骤、训练过程，以接口故障为例详细介绍了BP神经网络故障模型的构建过程。第四章智能网络管理系统分析与系统设计。首先进行了需求分析，其次对体系结构设计、系统总体模块结构设计进行说明，对系统各个功能模块分析设计结合活动图进行详细说明，最后对数据库设计进行简要说明。第五章智能网络管理系统的实现。对整体开发流程进行了说明，对用户管理模块、配置管理模块、设备监控模块、故障诊断模块实现流程进行描述并展示实现结果。第六章系统测试与结论。并对系统的部分功能和性能进行了测试，并加以分析。第七章总结与展望。总结本文取得的研究成果和存在的问题，并提出下一步改进系统的设想与对未来的展望。2相关概念及相关技术网络管理概述网络管理就是通过合适手段和方法，确保通信网络可以根据设计目标稳定，高效运行。不仅需要准确定位网络故障，还需要通过分析数据来预先预测故障，并通过优化设置来降低故障的发生率。网络管理系统的五大基本功能，分别为:配置管理、性能管理、故障管理、计费管理和安全管理：1）配置管理：配置管理是最重要和最基础的部分。它可以设置网络通讯设备的相关参数，从而管理被管设备，依据需求周期的或实时的获取设备信息和运行状态，检查和维护设备状态列表，生成数据表格，为管理员提供参考和接口以更改设备配置。2）性能管理：性能管理是评估系统网络的运行状态和稳定性，主要工作内容包括从被管理对象获取与网络性能相关数据，对这些数据进行统计和分析，建立模型以预测变化趋势、评估故障风险，通过配置管理模块修改网络参数，以确保网络性能最优利用网络资源保证通信网络平稳运行。3）故障管理：故障管理的主要功能就是及时辨别出网络中出现的故障，找出故障原因，分析并处理故障。故障管理一般分为四个部分：（1）探测故障。通过被管设备主动向管理站发送故障信息或者管理站主动轮询被管设备两种方式发现故障源。（2）发出告警。管理站发现故障信息之后，会以短信、信号灯等方式提示管理员。（3）解决故障。对故障信息进行分析，明确其故障原因和类型，找到对应方法得以解决。（4）保存历史故障数据。对历史故障数据进行维护备份，为以后的故障提供一定依据，使得处理网络故障更为高效。4）计费管理：计费管理主要功能是为客户提供一个合理的收费依据，通过将客户的网络资源的使用情况进行统计，例如将客户消费流量计算成本从而向客户计费。5）安全管理：目的就是保证网络能够平稳安全的运行，可以避免或者抵御来自外界的恶意入侵，防止重要数据泄露，例如用户的个人隐私泄露问题等。根据网络管理系统的体系结构和ISO定义的基本功能，基于Web的网络管理系统基本模型如图基于Web的网络管理系统基本模型所示，整个模型包括六个组成部分:Web浏览器，Web服务器，管理服务集，管理信息库，网络管理协议，被管资源。 SNMP协议简单网络管理协议SNMP(Simple Network Management Protocol)，既可以作为一种协议，也可以作为一套标准。事实上SNMP己经成为网络管理领域的工业标准，从提出至今共有八个版本，在实践中得到广泛应用的有三个版本，分别是SNMPv1, SNMPv2c和SNMPv3（唐明兵2017）。最初的SNMPv1主要是为了满足基于TCP/IP的网络管理而设计的，但是随着网络管理行业的迅猛发展，第一版本的SNMP协议已经不适应网络行业的发展，身份验证、批量数据传输问题等暴露导致SNMPv1难以支持日益庞大的网络设备。第二版本就演变成了一个运行于多种网络协议之上的网络管理协议，较第一版本有了长足的进步，不仅提供了更多操作类型，支持更多的数据类型而且提供了更加丰富的错误代码，能够更加细致的区分错误，另外支持的分布式管理在一定程度上大大减轻了服务器的压力。但是SNMPv2c依旧是明文传输密钥，其安全性有待提高。直到1998年正式推出SNMPv3，SNMPv3的进步主要体现在安全性能上，他引入USM和VACM技术，USM添加了用户名和组的概念，可以设置认证和加密功能，对NMS和Agent之间传输的报文进行加密，提升其安全性防止窃听。VACM确定用户是否允许特定的访问MIB对象以及访问方式。 SNMP管理模型与信息模型SNMP系统包括网络管理系统NMS（Network Management System）、代理进程Agent、被管对象Management object和管理信息库MIB（Management Informoation Base）四部分组成.管理模型图如图所示：1）NMS称为网络管理系统，作为网络管理过程当中的核心，NMS通过SNMP协议向网络设备发送报文，并由Agent去接收NMS发来的管理报文从而对设备进行统一管控。NMS可以主动向被管对象发送管理请求，也可以被动接受被管对象主动发出的Trap报文。2）Agent相当于网络管理过程中的中间件，是一种软件，用于处理被管理设备的运行数据并响应来自NMS的请求，并把结果返回给NMS。Agent接收到NMS请求后，通过查询MIB库完成对应操作，并把数据结果返回给NMS。Agent也可以作为网络管理过程中的中间件不仅可以使得信息从NMS响应到具体硬件设备上，当设备发生故障时，通过配置Trap开启相应端口，被管设备也可以通过Agent主动将事件发送到NMS，使得NMS及时发现故障。3）Management object指被管理对象。一个设备可能处在多个被管理对象之中，设备中的某个硬件以及硬件、软件上配置的参数集合都可以作为被管理对象。4）MIB是一个概念性数据库，可以理解为Agent维护的管理对象数据库，里面存放了被管设备的相关变量信息。MIB库定义了被管理设备的一系列属性：对象的名称、对象的状态、对象的访问权限和对象的数据类型等。通过读取MIB变量的值， Agent可以查询到被管设备的当前运行状态以及硬件信息等，进而达到监控网络设备的目的。Agent可以利用修改对应设备MIB中的变量值，设置被管设备状态参数来完成设备配置。SNMP的管理信息库是树形结构，其结构类型与DNS相似，具有根节点且不具有名字。在MIB功能中，每个设备都是作为一个oid树的某分支末端被管理。每个OID（object identifier，对象标识符）对应于oid树中的一个管理对象且具有唯一性。有了树形结构的特性，可以高效迅速地读取其中MIB中存储的管理信息及遍历树中节点，读取顺序从上至下。目前运用最为广泛的管理信息库是MIB-Ⅱ，它在MIB-Ⅰ的基础上做了扩充和改进。MIB-Ⅱ结构示意图如图如所示：（1）system组：作为MIB中的基本组，可以通过它来获取设备基本信息和设备系统信息等。（2）interfac组：定了有关接口的信息，例如接口状态、错误数据包等，在故障管理和性能管理当中时常用到。（3）address translation组:用于地址映射。（4）ip组：包含了有关ip的信息，例如网络编号，ip数据包数量等信息。（5）icmp组：包含了和icmp协议有关信息，例如icmp消息总数、icmp差错报文输入和输出数量。（6）tcp组：包含于tcp协议相关信息，例如tcp报文数量、重传时间、拥塞设置等。应用于网络拥塞和流量控制。（7）udp组：与udp协议相关，可以查询到udp报文数量，同时也保存了udp用户ip地址。（8）egp组：包含EGP协议相关信息，例如EGP协议下邻居表信息、自治系统数。（9）cmot组：为CMOT协议保留（10）transmission组：为传输信息保留（11）snmp组：存储了SNMP运行与实现的信息，例如收发SNMP消息数据量。 SNMP通讯模型SNMP规定了5种协议基本数据单元PDU，用于管理进程与代理进程之间交换。（1）get-request操作：管理进程请求数据。（2）get-next-request操作：在当前操作MIB变量的基础上从代理进程处读取下一个参数的值。（3）set-request操作：用于对网络设备进行设置操作。（4）get-response操作：在上面三种操作成功返回后，对管理进程进行数据返回。这个操作是由代理进程返回给管理进程。（5）trap操作：SNMP代理以异步的方式主动向SNMP管理站发送Trap数据包。一般用于故障告警和特定事件发生。SNMP消息报文包含两个部分：SNMP报头和协议数据单元PDU。根据TCP/IP模型SNMP是基于UDP的应用层协议，而UDP又是基于IP协议的。因此可以得到完整的SNMP报文示意图如下：（1）版本号表示SNMP版本，其中版本字段的大小是版本号减1，如果SNMPv2则显示的字段值是1。（2）团体名（community）本质上是一个字符串，作为明文密钥在管理进程和代理进程之间用于加密传输的消息，一般默认设置成“public”。 （3）请求标识符(request ID)用于消息识别。由管理进程发送消息时自带一个整数值，当代理进程返回消息时带上该标识符。管理进程可以通过该标识符识别出是哪一个代理进程返回的数据从而找到对应请求的报文。（4）差错状态(error status)表示出现错误时由代理进程返回时填入差错状态符0～5中的某一数字，数字对应相关错误信息。差错状态描述符如下表：（5）差错索引(error index)表示在通信过程当中出现上表的差错时，代理进程在应答请求时设置一个整数，整数大小对应差错变量在变量列表中偏移大小。（6）变量名-值对以key-value的方式存储变量名称和对应值。（7）trap报文是代理进程主动向管理进程发送的报文，不必等待管理进程下一次轮询。SNMPv2的trap报文格式较SNMPv1的trap报文格式更趋近于普通的SNMP响应报文，更加统一化。以SNMPv2为例的trap报文格式如下：trap类型已定义的特定trap共有7种，后面的则是由供养商自己定制。Trap类型如下表所示： SNMP组织模型SNMP代理组织分成分散式和集中式模型。在分散模型中，每一个服务器对应一个SNMP代理，可以理解为一一对应的关系，管理站分别与每个被管服务器上的代理进行通信。集中模型当中，在管理服务器上只创建一个SNMP代理。管理站只与管理管理服务器上的SNMP代理进行通信， SNMP代理接收来自某一固定区域的所有数据。如图所示： Vue为实现前后端分离开发的理念，Vue应运而生。作为构建用户界面框架的简单易上手使得前端开发人员不必再编写复杂的DOM操作通过this来回寻找相关节点，很大程度上提高了开发的效率。通过MVVM框架，可以自动完成视图同步数据更新，在对实例new Vue（data:data）进行声明后data中数据将与之相应的视图绑定，一旦data中的数据发生变更，视图中对应数据也会发生相应改变。基于MVVM框架实现了视图与数据一致性，MVVM框架可以分为三个部分：Model、ViewModel、View。MVVM框架模式：的理念是“一切皆为组件”，可以说组件是的最强大功能。组件可以扩展HTML元素，将HTML、CSS、JavaScript封装成可重用的代码组件，可以应用在不同的场景，大大提高效率。它与传统的JavaScript相比，采用虚拟DOM渲染页面。当有数据发生变更时，生成虚拟DOM结构与实际页面结构对比，重新渲染差离部分，进一步提供了页面性能。 EchartsEcharts（Enterprise Charts），它是由百度公司研发的纯JavaScript图表库，可以流畅的运行在PC和移动设备上。ECharts兼容当前主流浏览器，底层依赖轻量级Canvas库ZRender，Echarts提供直观、生动、交互性强、高度自定义化的可视化图标。ECharts包含了以下特性：1）丰富的可视化类型：既有柱状图、折线图、饼图等常规图，也有可用于地理数据可视化的热力图、线图等，还有多维数据可视化的平行坐标。2）支持多种数据格式共存：在版本中内置的dataset属性支持直接传入包括二维表中。3）多维数据的支持：可以传入多维度数据。4）移动端优化：特别针对移动端可视化进行了一定程度优化，可以使用手指在坐标系中进行缩放、平移。5）动态类型切换：支持不同类型图形随意切换，既可以用柱形图也可以用折线图展示统一数据，可以从不同角度展现数据。6）时间轴：对数据进行可视化的同时，可以分为周期或者定时进行展示，所有利用时间轴可以很好的动态观察数据的变化。目前常见的故障诊断方法基于专家系统的故障诊断方法专家系统是目前最常使用的诊断方法。通俗来讲，专家系统就是模拟人类专家去解决现实中某一特定领域的复杂问题。专家系统接收用户界面数据，将数据传递到推理引擎进行推理，做出决策并执行。专家系统作为人工智能的前身，从上世纪60年代开始到现在专家系统的应用已经产生了巨大的经济效益和社会效益，灵活可靠、极高的专业水平和良好的有效机制使得专家系统已经成为最受欢迎、最活跃的领域之一。基于模糊理论的故障诊断方法在实际的工业生产过程当中，设备的“故障”状态与“正常”状态之间并没有严格的界限，它们之间存在一定的模糊过渡状态，并且在特征获取、故障判定过程中都中存在一定的模糊性。 因此，该方法不需要建立精确的数学分析模型，本质上是一个模式识别问题。 根据建议的症状参数，得出系统状态。 通常选择“择近原则”和“最大隶属原则”作为基本诊断原理（尤海鑫，2012）。基于免疫算法的故障诊断方法通过模拟自然生物免疫系统的功能，即快速识别外来生物和外来生物，最后通过自我排斥将异物排出体外。生物免疫系统还建立了一套算法来测试各种条件，主要是在线检测，通过不合格的自我和外部组织消除系统来实现故障识别的能力。免疫算法的故障诊断方法属于并行处理能力，可以进行很多复杂的操作和处理。同时可以与遗传算法等其他智能优化算法结合使用，以增强自适应能力和自学习能力。从公开的文献中，学者们并不热衷于这种原理的方法。一般来说，在故障诊断领域，目前人工免疫理论的研究尚处于萌芽阶段。基于神经网络的故障诊断方法神经网络是由大量简单的神经节点组成的复杂网络，以网络拓扑分布的方式存储信息，利用网络拓扑分布和权重实现对实际问题的非线性映射调整，并运用使用全局并行处理的方式，实现从输入空间到输出空间的非线性映射。该方法属于典型的模型诊断模式，不需要了解内部诊断过程，而是使用隐式方法完全表达知识。在获取知识时，它将自动生成由已知知识和连接节点的权重构成的网络的拓扑结构，并将这些问题完全连接到互连的网络中，有利于知识的自动发现和获取。并行关联推理和验证提供了便利的途径；神经网络通过神经元之间的交互来实现推理机制。
基于MATLAB的数字识别计算机与信息工程学院 本科生毕业论文 基于BP神经网络的手写数字识别算法的设计与实现 班 级： 13汉班 学 号： 姓 名： 江晓雪 指导教师： 李艳玲 2017 年 3 月 31 日 毕 业 论 文 目 录 1 绪论1 图像识别的提出1 图像识别的现状与发展趋势1 2 BP神经网络的概述2 3 手写体数字识别的实现过程4 整体线路图4 算法流程5 图像预处理10 结果分析10 4 结论11 参考文献12 全文共 13 页 4834 字 基于BP神经网络的手写数字识别算法的设计与实现 计算机与信息工程学院 2013级汉班 江晓雪 指导教师 李艳玲 副教授 摘要 本文实现了基于MATLAB关于神经网络的手写数字识别算法的设计过程，采用神经网络中反向传播神经网络(即BP神经网络)对手写数字的识别，由MATLAB对图片进行读入、灰度化以及二值化等处理，通过神经网络进行训练和测试。实验证明：该神经网络对手写数字的识别可以达到。 关键词 手写数字识别；BP神经网络；MATLAB语言 1 绪论 图像识别的提出 图像识别在信息技术发达的今天已经占据了很重要的地位，在我们实际生活中也有很多应用。所谓的图像识别，就是指通过计算机对图像进行相应的处理、分析，来达到识别不同模型的目标和任务的一种技术。对于它的提出，简单的来说，它的发展经历了三个阶段：第一个是文字识别 、第二个是数字图像处理与识别、第三个是物体识别。第一种相对来说比较简单，它的研究是从1950年开始的，一般情况是识别字母、符号和数字，无论是印刷体识别还是手写体识别，它的应用都非常广泛，但是也伴随着，这个识别的过程会更加的耗时、费力，无论是人力还是物力，都会有很大的损失；第二种就是我们所说的数字图像处理与识别，在图片的识别过程中，图片识别会有一定的误差，也会带来小小的麻烦；第三就是物体识别，而物体的识别主要指的是：在三维世界中，对于个体、环境的感知和认识进行识别，这不同于二维世界的认知，相对来说是更高级的计算机图像识别，它是以二维世界中对数字图像和模拟图像处理的办法为依据，进行更高一级的，并且结合了现代人工智能技术等学科的研究目标，研究成果已经被广泛的应用在各种工业探测机器人上，为人们的安全提供了很大的帮助。 图像识别的现状与发展趋势 随着网络的发达、电子的信息化，图像识别的应用已经非常广泛，而主要的研究工作也包括各行各业，整理以下几点对其应用的广泛度进行说明： ⒈在生物学中，对生物的原型进行研究。从生物的脑细胞结构、物体解剖等其他科学研究的方向对生物的体系结构、神经结构、神经细胞组织等生物的原型结构及其功能机理进行研究，增强对生物学更加全面的理解。 ⒉在实际应用中，建立我们需要的理论模型。根据需要应用的信息在生物学中的应用，建立需要的生物原型，也可以建立类似神经元、神经网络这样不可见的理论模型，以便可以让其更加有效的应用在生活中。建立我们生活中不能直观表现的事物模型，以便我们可以更方便的、更直观的理解事物的本质。 ⒊在信息时代中，建立网络模型以及算法研究。就是通过上面所说的，建立相应的理论模型，在这个基础上加以理解，建立我们所需要的网络模型，实现计算机应用，主要应用在网络学习算法的研究，这方面的研究工作也被人们称为技术模型研究。 ⒋信息时代的发展，让我们在生活中有很多的应用，例如：完成某种函数图像的绘制以及对其变化的形式进行分析、对图片信号的处理、模式识别等功能，建立需要的应用系统、制造机器人等等。 通过上面的说明，也就是说从开始根据生物学原理的应用，直到建立需要的神经网络模型，最后应用到图像识别当中，可以看出其模型的建立是在生活中实例的基础上，其可靠性和准确性是显而易见的，这样就大大的增加了可信度，与此同时，也减少了工作中不必要的麻烦与困扰。而在网络信息发达的今天，人类在基本粒子、宇宙空间、生命起源等科学领域方面都已经显现出很高的兴趣度，而这其中难免会有图像提取后的处理工作，所以图像识别的应用就会越来越广泛。 2 BP神经网络的概述 反向传播(Back-Propagation，BP)学习算法简称BP算法，采用BP算法的前馈型神经网络简称BP网络。BP网络是多层感知器的一种，它具备多层感知器的特点，同时也有自己的特点。多层感知器包括输入层、隐藏层、输出层，其中隐藏层可以有多个，而我们BP网络中隐藏层只有一个，其简单构造如图所示： 图1 多层感知器结构图 而我们用到的BP网络中的具体信号流如图所示，它有一个反向传播的过程，这也是对传播进行调整，使精确度更高的一种办法。如图所示，其中有两种信号流通： 图2 多层感知器的信号流 第一：函数信号 简单来说就是信号进入输入层，然后通过隐藏层到达输入层，通过输出层输出所得值，就可以完成一个函数信号。 第二：误差信号 误差信号就是在逆向的传播的过程中传输的信号。其中，有两个重要参数。一个是函数信号即sigmoid函数，还有一个就是权值的梯度运算即梯度向量。(注：sigmoid函数、权重的修正函数，如图所示。) (1) (2) 通过对两个参数的调整，完成整个算法的应用。 3 手写体数字识别的实现过程 整体线路图 整体流程图如图3所示： 图像测试 损失函数的设计与应用 可视化测试数据 神经网络的设计与训练 sigmoid函数 图3 整体流程图 部分文件调用流程图如图4所示： sigmoid checkNNGradients nnCostFunction 第八部分：实现正规化 第八部分：训练NN fmincg nnCostFunction sigmoidGradient sigmoid nnCostFunction sigmoidGradient randInitializeWeights checkNNGradients debugInitializeWeights nnCostFunction computeNumericalGradient 第五部分：sigmoid函数 第六部分：初始化参数 第七部分：实现反向传播 第三部分：前馈网络 第四部分：前馈正规化 图4 整体流程图 算法流程
Abstract
我们训练了一个大型的深度卷积神经网络，将ImageNet lsvprc -2010竞赛中的120万幅高分辨率图像分类为1000个不同的类。在测试数据上，我们实现了top-1和top-5的错误率，分别为和，这与前的最高水平相比有了很大的提高。该神经网络有6000万个参数和65万个神经元，由5个卷积层(其中一些后面接了最大池化层)和3个全连接层(最后的1000路softmax)组成。为了使训练更快，我们使用了非饱和神经元和一个非常高效的GPU实现卷积运算。为了减少全连通层的过拟合，我们采用了一种最近发展起来的正则化方法——dropout，结果显示它非常有效。我们还在ILSVRC-2012比赛中输入了该模型的一个变体，并获得了的top-5测试错误率，而第二名获得了的错误率.
1 Introduction
当前的物体识别方法主要利用机器学习方法。为了提高它们的性能，我们可以收集更大的数据集，学习更强大的模型，并使用更好的技术来防止过度拟合。直到最近，标记图像的数据集在成千上万的图像(例如，NORB [16]， Caltech-101/256 [8,9]， CIFAR-10/100[12])中相对较小。使用这种大小的数据集可以很好地解决简单的识别任务，特别是如果使用保存标签的转换来扩展它们。例如，MNIST数字识别任务的当前最佳错误率(<)接近人类性能[4]。但是现实环境中的物体表现出相当大的可变性，所以为了学会识别它们，有必要使用更大的训练集。的确，小图像数据集的缺点已经被广泛认识(例如，Pinto等人的[21])，但直到最近才有可能收集数百万张图像的标记数据集。新的更大的数据集包括LabelMe[23]，它由成千上万的全分段图像组成，和ImageNet[6]，它由超过22000个类别的超过1500万标记的高分辨率图像组成。
要从数百万张图像中了解数千个物体，我们需要一个具有巨大学习能力的模型。 然而，对象识别任务的巨大复杂性意味着即使像ImageNet这样大的数据集也无法指定这个问题，因此我们的模型也应该具有大量的先验知识来补偿我们没有的所有数据。卷积神经网络(Convolutional neural networks, CNNs)就是这样一类模型[16,11,13,18,15,22,26]。它们的能力可以通过改变深度和宽度来控制，而且它们还对图像的性质(即统计的平稳性和像素依赖的局部性)做出了强有力且最正确的假设。 因此，与具有相似大小层的标准前馈神经网络相比，CNNs具有更少的连接和参数，因此更容易训练，而其理论上最好的性能可能只会稍微差一些。
尽管CNNs的质量很吸引人，尽管它们的本地架构相对高效，但在高分辨率图像上大规模应用仍然非常昂贵。幸运的是，当前的gpu与高度优化的2D卷积实现相结合，已经足够强大，可以方便地训练有趣的大型CNNs，而最近的数据集(如ImageNet)包含了足够多的标记示例，可以在不严重过拟合的情况下训练此类模型。
本文的具体贡献如下：
最后，网络的大小主要受到当前gpu上可用内存的大小和我们愿意忍受的训练时间的大小的限制。我们的网络需要5到6天的时间来训练两个GTX 580 3GB GPU。我们所有的实验都表明，只要等待更快的gpu和更大的数据集可用，我们的结果就可以得到改善。
2 The Dataset
ImageNet是一个包含超过1500万张高分辨率图像的数据集，属于大约22000个类别。这些图片是从网上收集来的，并由人工贴标签者使用亚马逊的土耳其机械众包工具进行标记。从2010年开始，作为Pascal视觉对象挑战赛的一部分，每年都会举办一场名为ImageNet大型视觉识别挑战赛(ILSVRC)的比赛。ILSVRC使用ImageNet的一个子集，每个类别大约有1000张图片。总共大约有120万张训练图像、5万张验证图像和15万张测试图像。
ILSVRC-2010 是唯一可用测试集标签的 ILSVRC 版本，因此这是我们进行大多数实验的版本。由于我们也在 ILSVRC-2012 竞赛中加入了我们的模型，在第6节中，我们也报告了我们在这个版本的数据集上的结果，对于这个版本的数据集，测试集标签是不可用的。在 ImageNet 上，通常报告两个错误率：top-1 和 top-5，其中 top-5 错误率是测试图像的一部分，其中正确的标签不在模型认为最可能的五个标签中。
ImageNet由可变分辨率的图像组成，而我们的系统需要一个恒定的输入维数。 因此，我们将图像降采样到256 * 256的固定分辨率。给定一个矩形图像，我们首先重新调整图像的大小，使其短边长度为256，然后从结果图像中裁剪出中心的256%256块。除了从每个像素中减去训练集上的平均活动外，我们没有以任何其他方式对图像进行预处理。因此，我们将网络训练成像素的原始RGB值(居中)。
3 The Architecture
ReLU Nonlinearity
Training on Multiple GPUs
Local Response Normalization
Overlapping Pooling
Pooling layers in CNNs summarize the outputs of neighboring groups of neurons in the same kernel map. Traditionally, the neighborhoods summarized by adjacent pooling units do not overlap (.,[17, 11, 4]). To be more precise, a pooling layer can be thought of as consisting of a grid of pooling units spaced s pixels apart, each summarizing a neighborhood of size z z centered at the location of the pooling unit. If we set s = z, we obtain traditional local pooling as commonly employed in CNNs. If we set s < z, we obtain overlapping pooling. This is what we use throughout our network, with s = 2 and z = 3. This scheme reduces the top-1 and top-5 error rates by and , respectively, as compared with the non-overlapping scheme s = 2; z = 2, which produces output of equivalent dimensions. We generally observe during training that models with overlapping pooling find it slightly more difficult to overfit.
Overall Architecture
Now we are ready to describe the overall architecture of our CNN. As depicted in Figure 2, the net contains eight layers with weights; the first five are convolutional and the remaining three are fully-connected. The output of the last fully-connected layer is fed to a 1000-way softmax which produces a distribution over the 1000 class labels. Our network maximizes the multinomial logistic regression objective, which is equivalent to maximizing the average across training cases of the log-probability of the correct label under the prediction distribution.
4 Reducing Overfitting
Data Augmentation
Dropout
结合许多不同模型的预测是减少测试错误的一种非常成功的方法[1,3]，但是对于已经需要几天训练的大型神经网络来说，这似乎太昂贵了。然而，有一个非常有效的模型组合版本，它在训练期间只花费大约2倍的成本。最近介绍的技术称为dropout[10]，它将每个隐藏神经元的输出设置为0，概率为。以这种方式丢弃的神经元不参与正向传递，也不参与反向传播。所以每次输入时，神经网络都会对不同的结构进行采样，但是所有这些结构都共享权重。这种技术减少了神经元之间复杂的相互适应，因为神经元不能依赖于特定的其他神经元的存在。因此，它被迫学习与其他神经元的许多不同随机子集结合使用的更健壮的特征。在测试时，我们使用所有的神经元，但将它们的输出乘以，这是一个合理的近似值，近似于取由指数型多退出网络产生的预测分布的几何平均值。
我们在图2的前两个完全连接的层中使用了dropout。没有dropout，我们的网络显示出大量的过拟合。Dropout使收敛所需的迭代次数增加了一倍。
5 Details of learning
7 Discussion
应用计算机视觉时要面临的一个挑战是数据的输入可能会非常大。例如一张 1000x1000x3 的图片，神经网络输入层的维度将高达三百万，使得网络权重 W 非常庞大。这样会造成两个后果：
神经网络结构复杂，数据量相对较少，容易出现过拟合； 所需内存和计算量巨大。 因此，一般的神经网络很难处理蕴含着大量数据的图像。解决这一问题的方法就是使用卷积神经网络
我们之前提到过，神经网络由浅层到深层，分别可以检测出图片的边缘特征、局部特征（例如眼睛、鼻子等），到最后面的一层就可以根据前面检测的特征来识别整体面部轮廓。这些工作都是依托卷积神经网络来实现的。
卷积运算（Convolutional Operation）是卷积神经网络最基本的组成部分。我们以边缘检测为例，来解释卷积是怎样运算的。
图片最常做的边缘检测有两类：垂直边缘（Vertical Edges）检测和水平边缘（Horizontal Edges）检测。
比如检测一张6x6像素的灰度图片的vertical edge，设计一个3x3的矩阵（称之为filter或kernel），让原始图片和filter矩阵做卷积运算（convolution），得到一个4x4的图片。 具体的做法是，将filter矩阵贴到原始矩阵上（从左到右从上到下），依次可以贴出4x4种情况。 让原始矩阵与filter重合的部分做element wise的乘积运算再求和 ，所得的值作为4x4矩阵对应元素的值。如下图是第一个元素的计算方法，以此类推。
可以看到，卷积运算的求解过程是从左到右，由上到下，每次在原始图片矩阵中取与滤波器同等大小的一部分，每一部分中的值与滤波器中的值对应相乘后求和，将结果组成一个矩阵。
下图对应一个垂直边缘检测的例子：
如果将最右边的矩阵当作图像，那么中间一段亮一些的区域对应最左边的图像中间的垂直边缘。
下图3x3滤波器，通常称为垂直 索伯滤波器 （Sobel filter）：
看看用它来处理知名的Lena照片会得到什么：
现在可以解释卷积操作的用处了：用输出图像中更亮的像素表示原始图像中存在的边缘。
你能看出为什么边缘检测图像可能比原始图像更有用吗？
回想一下MNIST手写数字分类问题。在MNIST上训练的CNN可以找到某个特定的数字。比如发现数字1，可以通过使用边缘检测发现图像上两个突出的垂直边缘。
通常，卷积有助于我们找到特定的局部图像特征（如边缘），用在后面的网络中。
假设输入图片的大小为 n×n，而滤波器的大小为 f×f，则卷积后的输出图片大小为 (n−f+1)×(n−f+1)。
这样就有两个问题：
为了解决这些问题，可以在进行卷积操作前，对原始图片在边界上进行填充（Padding），以增加矩阵的大小。通常将 0 作为填充值。
设每个方向扩展像素点数量为 p，则填充后原始图片的大小为 (n+2p)×(n+2p)，滤波器大小保持 f×f不变，则输出图片大小为 (n+2p−f+1)×(n+2p−f+1)。
因此，在进行卷积运算时，我们有两种选择：
在计算机视觉领域，f通常为奇数。原因包括 Same 卷积中 p=（f−1）/ 2 能得到自然数结果，并且滤波器有一个便于表示其所在位置的中心点。
卷积过程中，有时需要通过填充来避免信息损失，有时也需要通过设置 步长（Stride） 来压缩一部分信息。
步长表示滤波器在原始图片的水平方向和垂直方向上每次移动的距离。之前，步长被默认为 1。而如果我们设置步长为 2，则卷积过程如下图所示：
设步长为 s，填充长度为p, 输入图片大小为n x n, 滤波器大小为f x f, 则卷积后图片的尺寸为：
注意公式中有一个向下取整的符号，用于处理商不为整数的情况。向下取整反映着当取原始矩阵的图示蓝框完全包括在图像内部时，才对它进行运算。
如果我们想要对三通道的 RGB 图片进行卷积运算，那么其对应的滤波器组也同样是三通道的。过程是将每个单通道（R，G，B）与对应的滤波器进行卷积运算求和，然后再将三个通道的和相加，将 27 个乘积的和作为输出图片的一个像素值。
如果想同时检测垂直和水平边缘，或者更多的边缘检测，可以增加更多的滤波器组。例如设置第一个滤波器组实现垂直边缘检测，第二个滤波器组实现水平边缘检测。设输入图片的尺寸为 n×n×nc（nc为通道数），滤波器尺寸为 f×f×nc，则卷积后的输出图片尺寸为 (n−f+1)×(n−f+1)×n′c，n′c为滤波器组的个数。
与之前的卷积过程相比较，卷积神经网络的单层结构多了激活函数和偏移量；而与标准神经网络相比，滤波器的数值对应着权重 W[l]，卷积运算对应着 W[l]与 A[l−1]的乘积运算，所选的激活函数变为 ReLU。
对于一个 3x3x3 的滤波器，包括偏移量 b（27+1）在内共有 28 个参数。不论输入的图片有多大，用这一个滤波器来提取特征时，参数始终都是 28 个，固定不变。即选定滤波器组后，参数的数目与输入图片的尺寸无关。因此，卷积神经网络的参数相较于标准神经网络来说要少得多。这是 CNN 的优点之一。
图像中的相邻像素倾向于具有相似的值，因此通常卷积层相邻的输出像素也具有相似的值。这意味着，卷积层输出中包含的大部分信息都是冗余的。如果我们使用边缘检测滤波器并在某个位置找到强边缘，那么我们也可能会在距离这个像素1个偏移的位置找到相对较强的边缘。但是它们都一样是边缘，我们并没有找到任何新东西。池化层解决了这个问题。这个网络层所做的就是通过减小输入的大小降低输出值的数量。池化一般通过简单的最大值、最小值或平均值操作完成。以下是池大小为2的最大池层的示例:
在计算神经网络的层数时，通常只统计具有权重和参数的层，因此池化层通常和之前的卷积层共同计为一层。
图中的 FC3 和 FC4 为全连接层，与标准的神经网络结构一致。
个人推荐 一个直观感受卷积神经网络的网站 。
相比标准神经网络，对于大量的输入数据，卷积过程有效地减少了 CNN 的参数数量，原因有以下两点：
-参数共享（Parameter sharing）：特征检测如果适用于图片的某个区域，那么它也可能适用于图片的其他区域。即在卷积过程中，不管输入有多大，一个特征探测器（滤波器）就能对整个输入的某一特征进行探测。
-稀疏连接（Sparsity of connections）：在每一层中，由于滤波器的尺寸限制，输入和输出之间的连接是稀疏的，每个输出值只取决于输入在局部的一小部分值。
池化过程则在卷积后很好地聚合了特征，通过降维来减少运算量。
由于 CNN 参数数量较小，所需的训练样本就相对较少，因此在一定程度上不容易发生过拟合现象。并且 CNN 比较擅长捕捉区域位置偏移。即进行物体检测时，不太受物体在图片中位置的影响，增加检测的准确性和系统的健壮性。
在神经网络可以收敛的前提下，随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降
需要注意，网络退化问题不是过拟合导致的，即便在模型训练过程中，同样的训练轮次下，退化的网络也比稍浅层的网络的训练错误更高，如下图所示。
这一点并不符合常理：如果存在某个 K层网络是当前F的最优的网络，我们构造更深的网络。那么K之后的层数可以拟合成恒等映射，就可以取得和F一直的结果。如果K不是最佳层数，那么我们比K深，可以训练出的一定会不差于K的。总而言之，与浅层网络相比，更深的网络的表现不应该更差。因此，一个合理的猜测就是， 对神经网络来说，恒等映射并不容易拟合。
也许我们可以对网络单元进行一定的改造，来改善退化问题？这也就引出了残差网络的基本思路
既然神经网络不容易拟合一个恒等映射，那么一种思路就是构造天然的恒等映射。
实验表明，残差网络 很好地解决了深度神经网络的退化问题 ，并在ImageNet和CIFAR-10等图像任务上取得了非常好的结果，同等层数的前提下残差网络也 收敛得更快 。这使得前馈神经网络可以采用更深的设计。除此之外， 去除个别神经网络层，残差网络的表现不会受到显著影响 ，这与传统的前馈神经网络大相径庭。
2018年的一篇论文，The Shattered Gradients Problem: If resnets are the answer, then what is the question，指出了一个新的观点，尽管残差网络提出是为了解决梯度弥散和网络退化的问题， 它解决的实际上是梯度破碎问题
作者通过可视化的小型实验(构建和训练一个神经网络发现，在浅层神经网络中，梯度呈现为棕色噪声(brown noise)，深层神经网络的梯度呈现为白噪声。在标准前馈神经网络中，随着深度增加， 神经元梯度的相关性(corelation)按指数级减少 (1 / 2^L) ；同时， 梯度的空间结构也随着深度增加被逐渐消除 。这也就是梯度破碎现象。
梯度破碎为什么是一个问题呢？这是因为许多优化方法假设梯度在相邻点上是相似的，破碎的梯度会大大减小这类优化方法的有效性。另外，如果梯度表现得像白噪声，那么某个神经元对网络输出的影响将会很不稳定。
相较标准前馈网络， 残差网络中梯度相关性减少的速度从指数级下降到亚线性级 ) (1 / sqrt(L)) ，深度残差网络中，神经元梯度介于棕色噪声与白噪声之间(参见上图中的c,d,e)；残差连接可以 极大地保留梯度的空间结构 。残差结构缓解了梯度破碎问题。
1x1 卷积指滤波器的尺寸为 1。当通道数为 1 时，1x1 卷积意味着卷积操作等同于乘积操作。 而当通道数更多时，1x1 卷积的作用实际上类似全连接层的神经网络结构，从而降低（或升高，取决于滤波器组数）数据的维度。
池化能压缩数据的高度（nH）及宽度（nW），而 1×1 卷积能压缩数据的通道数（nC）。在如下图所示的例子中，用 filters个大小为 1×1×32 的滤波器进行卷积，就能使原先数据包含的 32个通道压缩为 filters 个。
在这之前，网络大都是这样子的：
也就是卷积层和池化层的顺序连接。这样的话，要想提高精度，增加网络深度和宽度是一个有效途径，但也面临着参数量过多、过拟合等问题。（当然，改改超参数也可以提高性能）
有没有可能在同一层就可以提取不同（稀疏或不稀疏）的特征呢(使用不同尺寸的卷积核)？于是，2014年，在其他人都还在一味的增加网络深度时(比如vgg)，GoogleNet就率先提出了卷积核的并行合并（也称Bottleneck Layer），如下图。
和卷积层、池化层顺序连接的结构（如VGG网络）相比，这样的结构主要有以下改进：
按照这样的结构来增加网络的深度，虽然可以提升性能，但是还面临计算量大（参数多）的问题。为改善这种现象，GooLeNet借鉴Network-in-Network的思想，使用1x1的卷积核实现降维操作(也间接增加了网络的深度)，以此来减小网络的参数量(这里就不对两种结构的参数量进行定量比较了)，如图所示。
最后实现的inception v1网络是上图结构的顺序连接
由于卷积这门课的其他内容和计算机视觉关系比较密切。对我理解推荐系统帮助不大。所以这个系列就到这里。吴恩达的课还是很好的，作业和课和测验我都认真做啦。
这两天在公司做PM实习，主要是自学一些CV的知识，以了解产品在解决一些在图像识别、图像搜索方面的问题，学习的主要方式是在知网检索了篇国内近3年计算机视觉和物体识别的硕博士论文。由于时间关系，后面还会继续更新图片相似度计算（以图搜图）等方面的学习成果 将这两天的学习成果在这里总结一下。你将会看到计算机视觉在解决特定物体识别问题（主要是卷积神经网络CNNs）的基础过程和原理，但这里不会深入到技术的实现层面。
计算机视觉（Computer vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。 ————维基百科 通常而言，计算机视觉的研究包括三个层次： （1）底层特征的研究： 这一层次的研究主要聚焦如何高效提取出图像对象具有判别性能的特征，具体的研究内容通常包括：物体识别、字符识别等 （2）中层语义特征的研究： 该层次的研究在于在识别出对象的基础上，对其位置、边缘等信息能够准确区分。现在比较热门的：图像分割；语义分割；场景标注等，都属于该领域的范畴 （3）高层语义理解： 这一层次建立在前两层的基础上，其核心在于“理解”一词。 目标在于对复杂图像中的各个对象完成语义级别的理解。这一层次的研究常常应用于：场景识别、图像摘要生成及图像语义回答等。 而我研究的问题主要隶属于底层特征和中层语义特征研究中的物体识别和场景标注问题。
人类的视觉工作模式是这样的： 首先，我们大脑中的神经元接收到大量的信息微粒，但我们的大脑还并不能处理它们。 于是接着神经元与神经元之间交互将大量的微粒信息整合成一条又一条的线。 接着，无数条线又整合成一个个轮廓。 最后多个轮廓累加终于聚合我们现在眼前看到的样子。 计算机科学受到神经科学的启发，也采用了类似的工作方式。具体而言，图像识别问题一般都遵循下面几个流程
（1）获取底层信息。获取充分且清洁的高质量数据往往是图像识别工作能否成功的关键所在 （2）数据预处理工作，在图像识别领域主要包括四个方面的技术：去噪处理（提升信噪比）、图像增强和图像修复（主要针对不够清晰或有破损缺失的图像）；归一化处理（一方面是为了减少开销、提高算法的性能，另一方面则是为了能成功使用深度学习等算法，这类算法必须使用归一化数据）。 （3）特征提取，这一点是该领域的核心，也是本文的核心。图像识别的基础是能够提取出足够高质量，能体现图像独特性和区分度的特征。 过去在10年代之前我们主要还是更多的使用传统的人工特征提取方法，如PCA\LCA等来提取一些人工设计的特征，主要的方法有（HOG、LBP以及十分著名的SIFT算法）。但是这些方法普遍存在（a）一般基于图像的一些提层特征信息（如色彩、纹理等）难以表达复杂的图像高层语义，故泛化能力普遍比较弱。（b）这些方法一般都针对特定领域的特定应用设计，泛化能力和迁移的能力大多比较弱。 另外一种思路是使用BP方法，但是毕竟BP方法是一个全连接的神经网络。这以为这我们非常容易发生过拟合问题（每个元素都要负责底层的所有参数），另外也不能根据样本对训练过程进行优化，实在是费时又费力。 因此，一些研究者开始尝试把诸如神经网络、深度学习等方法运用到特征提取的过程中，以十几年前深度学习方法在业界最重要的比赛ImageNet中第一次战胜了SIFT算法为分界线，由于其使用权重共享和特征降采样，充分利用了数据的特征。几乎每次比赛的冠军和主流都被深度学习算法及其各自改进型所占领。其中，目前使用较多又最为主流的是CNN算法，在第四部分主要也研究CNN方法的机理。
上图是一个简易的神经网络，只有一层隐含层，而且是全连接的（如图，上一层的每个节点都要对下一层的每个节点负责。）具体神经元与神经元的作用过程可见下图。
在诸多传统的神经网络中，BP算法可能是性能最好、应用最广泛的算法之一了。其核心思想是：导入训练样本、计算期望值和实际值之间的差值，不断地调整权重，使得误差减少的规定值的范围内。其具体过程如下图：
一般来说，机器学习又分成浅层学习和深度学习。传统的机器学习算法，如SVM、贝叶斯、神经网络等都属于浅层模型，其特点是只有一个隐含层。逻辑简单易懂、但是其存在理论上缺乏深度、训练时间较长、参数很大程度上依赖经验和运气等问题。 如果是有多个隐含层的多层神经网络（一般定义为大于5层），那么我们将把这个模型称为深度学习，其往往也和分层训练配套使用。这也是目前AI最火的领域之一了。如果是浅层模型的问题在于对一个复杂函数的表示能力不够，特别是在复杂问题分类情况上容易出现分类不足的弊端，深度网络的优势则在于其多层的架构可以分层表示逻辑，这样就可以用简单的方法表示出复杂的问题，一个简单的例子是： 如果我们想计算sin(cos(log(exp(x))))， 那么深度学习则可分层表示为exp(x)—>log(x)—>cos(x)—>sin(x)
图像识别问题是物体识别的一个子问题，其鲁棒性往往是解决该类问题一个非常重要的指标，该指标是指分类结果对于传入数据中的一些转化和扭曲具有保持不变的特性。这些转化和扭曲具体主要包括了： （1）噪音（2）尺度变化（3）旋转（4）光线变化（5）位移
该部分具体的内容，想要快速理解原理的话推荐看[知乎相关文章] ( )， 特别是其中有些高赞回答中都有很多动图和动画，非常有助于理解。 但核心而言，CNN的核心优势在于 共享权重 以及 感受野 ，减少了网络的参数，实现了更快的训练速度和同样预测结果下更少的训练样本，而且相对于人工方法，一般使用深度学习实现的CNN算法使用无监督学习，其也不需要手工提取特征。
CNN算法的过程给我的感觉，个人很像一个“擦玻璃”的过程。其技术主要包括了三个特性：局部感知、权重共享和池化。
CNN中的神经元主要分成了两种： （a）用于特征提取的S元，它们一起组成了卷积层，用于对于图片中的每一个特征首先局部感知。其又包含很关键的阈值参数（控制输出对输入的反映敏感度）和感受野参数（决定了从输入层中提取多大的空间进行输入，可以简单理解为擦玻璃的抹布有多大） （b）抗形变的C元，它们一起组成了池化层，也被称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。 （c*）激活函数，及卷积层输出的结果要经过一次激励函数才会映射到池化层中，主要的激活函数有Sigmoid函数、Tanh函数、ReLU、Leaky ReLU、ELU、Maxout等。
也许你会抱有疑问，CNN算法和传统的BP算法等究竟有什么区别呢。这就会引出区域感受野的概念。在前面我们提到，一个全连接中，较高一层的每个神经元要对低层的每一个神经元负责，从而导致了过拟合和维度灾难的问题。但是有了区域感受野和，每个神经元只需要记录一个小区域，而高层会把这些信息综合起来，从而解决了全连接的问题。
了解区域感受野后，你也许会想，区域感受野的底层神经元具体是怎么聚合信息映射到上一层的神经元呢，这就要提到重要的卷积核的概念。这个过程非常像上面曾提到的“神经元与神经元的联系”一图，下面给大家一个很直观的理解。
上面的这个过程就被称为一个卷积核。在实际应用中，单特征不足以被系统学习分类，因此我们往往会使用多个滤波器，每个滤波器对应1个卷积核，也对应了一个不同的特征。比如：我们现在有一个人脸识别应用，我们使用一个卷积核提取出眼睛的特征，然后使用另一个卷积核提取出鼻子的特征，再用一个卷积核提取出嘴巴的特征，最后高层把这些信息聚合起来，就形成了分辨一个人与另一个人不同的判断特征。
现在我们已经有了区域感受野，也已经了解了卷积核的概念。但你会发现在实际应用中还是有问题： 给一个100 100的参数空间，假设我们的感受野大小是10 10，那么一共有squar（1000-10+1）个，即10的六次方个感受野。每个感受野中就有100个参数特征，及时每个感受野只对应一个卷积核，那么空间内也会有10的八次方个次数，，更何况我们常常使用很多个卷积核。巨大的参数要求我们还需要进一步减少权重参数，这就引出了权重共享的概念。 用一句话概括就是，对同一个特征图，每个感受野的卷积核是一样的，如这样操作后上例只需要100个参数。
池化是CNN技术的最后一个特性，其基本思想是： 一块区域有用的图像特征，在另一块相似的区域中很可能仍然有用。即我们通过卷积得到了大量的边缘EDGE数据，但往往相邻的边缘具有相似的特性，就好像我们已经得到了一个强边缘，再拥有大量相似的次边缘特征其实是没有太大增量价值的，因为这样会使得系统里充斥大量冗余信息消耗计算资源。 具体而言，池化层把语义上相似的特征合并起来，通过池化操作减少卷积层输出的特征向量，减少了参数，缓解了过拟合问题。常见的池化操作主要包括3种： 分别是最大值池化（保留了图像的纹理特征）、均值池化（保留了图像的整体特征）和随机值池化。该技术的弊端是容易过快减小数据尺寸，目前趋势是用其他方法代替池化的作用,比如胶囊网络推荐采用动态路由来代替传统池化方法，原因是池化会带来一定程度上表征的位移不变性，传统观点认为这是一个优势，但是胶囊网络的作者Hinton et al.认为图像中位置信息是应该保留的有价值信息，利用特别的聚类评分算法和动态路由的方式可以学习到更高级且灵活的表征，有望冲破目前卷积网络构架的瓶颈。
CNN总体来说是一种结构，其包含了多种网络模型结构，数目繁多的的网络模型结构决定了数据拟合能力和泛化能力的差异。其中的复杂性对用户的技术能力有较高的要求。此外，CNN仍然没有很好的解决过拟合问题和计算速度较慢的问题。
该部分的核心参考文献： 《深度学习在图像识别中的应用研究综述》郑远攀,李广阳,李晔.[J].计算机工程与应用,2019,55(12):20-36. 深度学习技术在计算机图像识别方面的领域应用研究是目前以及可预见的未来的主流趋势，在这里首先对深度学习的基本概念作一简介，其次对深度学习常用的结构模型进行概述说明，主要简述了深度信念网络（DBN）、卷积神经网络（CNN）、循环神经网络（RNN）、生成式对抗网络（GAN）、胶囊网络（CapsNet）以及对各个深度模型的改进模型做一对比分析。
深度学习按照学习架构可分为生成架构、判别架构及混合架构。 其生成架构模型主要包括： 受限波尔兹曼机、自编码器、深层信念网络等。判别架构模型主要包括：深层前馈网络、卷积神经网络等。混合架构模型则是这两种架构的集合。深度学习按数据是否具有标签可分为非监督学习与监督学习。非监督学习方法主要包括：受限玻尔兹曼机、自动编码器、深层信念网络、深层玻尔兹曼机等。 监督学习方法主要包括：深层感知器、深层前馈网络、卷积神经网络、深层堆叠网络、循环神经网络等。大量实验研究表明，监督学习与非监督学习之间无明确的界限，如：深度信念网络在训练过程中既用到监督学习方法又涉及非监督学习方法。
[1]周彬. 多视图视觉检测关键技术及其应用研究[D].浙江大学,2019. [2]郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36. [3]逄淑超. 深度学习在计算机视觉领域的若干关键技术研究[D].吉林大学,2017. [4]段萌. 基于卷积神经网络的图像识别方法研究[D].郑州大学,2017. [5]李彦冬. 基于卷积神经网络的计算机视觉关键技术研究[D].电子科技大学,2017. [6]李卫. 深度学习在图像识别中的研究及应用[D].武汉理工大学,2014. [7]许可. 卷积神经网络在图像识别上的应用的研究[D].浙江大学,2012. [8]CSDN、知乎、机器之心、维基百科
随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料，欢迎阅读!
人工神经网络的发展及应用
摘要随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段，是人工智能的重要组成部分，并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾，并对其在各个领域的应用情况进行探讨。
关键词人工神经网络;发展;应用
随着科学技术的发展，各个行业和领域都在进行人工智能化的研究工作，已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支，对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今，经历了不同的发展阶段，并且在经济、生物、医学等领域得到了广泛的应用，解决了许多技术上的难题。
1人工神经网络概述
关于人工神经网络，到目前为止还没有一个得到广泛认可的统一定义，综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性，其具有很强的并行结构以及并行处理的能力，在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性，对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力，因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强，能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟，而且近年来在硬件方面也得到了较大发展，提高了人工神经网络系统的信息处理能力。
2人工神经网络的发展历程
萌芽时期
在20世纪40年代，生物学家McCulloch与数学家Pitts共同发表文章，第一次提出了关于神经元的模型M-P模型，这一理论的提出为神经网络模型的研究和开发奠定了基础，在此基础上人工神经网络研究逐渐展开。1951年，心理学家Hebb提出了关于连接权数值强化的法则，为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流，为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后，出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型，提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。
低谷时期
在人工神经网络形成的初期，人们只是热衷于对它的研究，却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究，在1969年对之前所取得的研究成果提出了质疑，认为当前研究出的神经网络只合适处理比较简单的线性问题，对于非线性问题以及多层网络问题却无法解决。由于他们的质疑，使神经网络的发展进入了低谷时期，但是在这一时期，专家和学者也并没有停止对神经网络的研究，针对他们的质疑也得出一些相应的研究成果。
复兴时期
美国的物理学家Hopfield在1982年提出了新的神经网络模型，并通过实验证明在满足一定的条件时，神经网络是能够达到稳定的状态的。通过他的研究和带动，众多专家学者又重新开始了对人工神经网络方面的研究，推动了神经网络的再一次发展[3]。经过专家学者的不断努力，提出了各种不同的人工神经网络的模型，神经网络理论研究不断深化，新的理论和方法层出不穷，使神经网络的研究和应用进入了一个崭新的时期。
稳步发展时期
随着人工神经网络研究在世界范围内的再次兴起，我国也迎来了相关理论研究的热潮，在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时，国内对于神经网络领域的研究得到了进一步的完善和发展，而且能够利用神经网络对非线性的系统控制问题进行解决，研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开，我国人工神经网络的研究和应用条件逐步改善，得到了国际的关注。
随着人工神经网络的稳步发展，逐渐建立了光学神经网络系统，利用光学的强大功能，提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题，采取有效措施，提高超平面的光滑性，对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法，虽然保证了精度，但也加大了消耗，在一定程度上降低了神经网络的效率，因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步，提高了神经网络的泛化能力。
3人工神经网络的应用
在信息领域中的应用
人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展，当代信息处理工作越来越复杂，利用人工神经网络系统可以对人的思维进行模仿甚至是替代，面对问题自动诊断和解决，能够轻松解决许多传统方法无法解决的问题，在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析，对事物进行辨别和解释的一个过程，这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种，一种是统计模式识别，还有一种是结构模式识别，在语音识别和指纹识别等方面得到了广泛的应用。
在医学领域的应用
人工神经网络对于非线性问题处理十分有效，而人体的构成和疾病形成的原因十分复杂，具有不可预测性，在生物信号的表现形式和变化规律上也很难掌握，信息检测和分析等诸多方面都存在着复杂的非线性联系，所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前，在医学领域中的应用涉及到理论和临床的各个方面，最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。
在经济领域中的应用
经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测，人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理，与传统的经济统计方法相比具有其无法比拟的优势，数据分析的稳定性和可靠性更强。
在其他领域的应用
人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用，能够对高难度的非线性问题进行处理，对交通运输方面进行集成式的管理，以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题，促进了各个领域的快速发展。
4总结
随着科技的发展，人工智能系统将进入更加高级的发展阶段，人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代，但是其特有的非线性信息处理能力解决了许多人工无法解决的问题，在智能系统的各个领域中得到成功应用，今后的发展趋势将向着更加智能和集成的方向发展。
参考文献
[1]徐用懋，冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展，1993(5)：8-12，20.
[2]汤素丽，罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用，2009(10)：59-61.
[3]李会玲，柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报，2009(5)：44-46.
[4]过效杰，祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利，2004(1)：22-23.
[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学，2006.
下一页分享更优秀的<<<人工智能神经网络论文
你不翻译了？？？
入侵检测技术论文篇二 浅析入侵检测技术 摘 要 入侵检测系统是一个能够对网络或计算机系统的活动进行实时监测的系统，它能够发现并报告网络或系统中存在的可疑迹象，为网络安全管理提供有价值的信息。 关键词 入侵检测 信号分析 模型匹配 分布式 中图分类号：TP393 文献标识码：A 随着计算机技术尤其是网络技术的发展，计算机系统已经从独立的主机发展到复杂的、互连的开放式系统。这给人们在信息利用和资源共享上带来了无与伦比的便利，但又面临着由于入侵而引发的安全问题。传统的安全防御策略( 如访问控制机制、防火墙技术等)均属于静态的安全防御技术，对网络环境下日新月异的攻击手段缺乏主动的反应。由于静态的安全技术自身存在着不可克服的缺点，促发了人们在研究过程中新的探索，从而引出入侵检测这一安全领域的新课题的诞生。入侵检测是动态安全技术的最核心技术之一，是防火墙的合理补充，是安全防御体系的一个重要组成部分。 1 入侵检测系统( IDS) 执行的主要任务 所谓IDS就是一个能够对网络或计算机系统的活动进行实时监测的系统，它能够发现并报告网络或系统中存在的可疑迹象，为网络安全管理提供有价值的信息。IDS 执行的主要任务是：监视、分析用户及系统活动;对系统构造和弱点的审计;识别反映已知进攻的活动模式并向相关人士报警;异常行为模式的统计分析;评估重要系统和数据文件的完整性;操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 2 入侵检测的步骤 信息收集 入侵检测的第一步是信息收集。内容包括系统、网络、数据及用户活动的状态和行为。 入侵检测利用的信息一般来自以下4方面：系统和网络日志文件：目录和文件中的不期望的改变; 程序执行中的不期望行为;物理形式的入侵信息。这包括两个方面的内容：一是未授权的对网络硬件的连接;二是对物理资源的未授权访问。 信号分析 对上述4 类收集到的有关系统、网络、数据及用户活动的状态和行为等信息， 一般通过3 种技术手段进行分析：模式匹配、统计分析和完整分析。其中前两种方法用于实时的入侵检测，而完整性分析则用于事后分析。 响应 入侵检测系统在发现入侵后会及时做出响应， 包括切断网络连接、记录事件和报警等。响应一般分为主动响应和被动响应两种类型。主动响应由用户驱动或系统本身自动执行， 可对入侵者采取行动、修正系统环境或收集有用信息;被动响应则包括告警和通知、简单网络管理协议( SNMP) 陷阱和插件等。 3 常用的入侵检测方法 基于用户行为概率统计模型的入侵检测方法 这种入侵检测方法是基于对用户历史行为建模， 以及在早期的证据或模型的基础上， 审计系统实时的检测用户对系统的使用情况， 根据系统内部保存的用户行为概率统计模型进行检测， 当发现有可疑的用户行为发生时， 保持跟踪并监测、记录该用户的行为。 基于神经网络的入侵检测方法 这种方法是利用神经网络技术进行入侵检测。因此， 这种方法对用户行为具有学习和自适应功能， 能够根据实际检测到的信息有效地加以处理并作出入侵可能性的判断。 基于专家系统的入侵检测技术 该技术根据安全专家对可疑行为进行分析的经验来形成一套推理规则， 然后在此基础上建立相应的专家系统， 由此专家系统自动对所涉及的入侵行为进行分析该系统应当能够随着经验的积累而利用其自学习能力进行规则的扩充和修正。 4 入侵检测技术的发展方向 分布式入侵检测与通用入侵检测架构 传统的IDS一般局限于单一的主机或网络架构， 对异构系统及大规模的网络的监测明显不足， 同时不同的IDS 系统之间不能协同工作， 为解决这一问题， 需要分布式入侵检测技术与通用入侵检测架构。 智能化的入侵检测 入侵方法越来越多样化与综合化， 尽管已经有智能体、神经网络与遗传算法在入侵检测领域的应用研究， 但是这只是一些尝试性的研究工作， 需要对智能化的IDS 加以进一步地研究以解决其自学习与自适应能力。 入侵检测的评测方法 用户需对众多的IDS 系统进行评价， 评价指标包括IDS 检测范围、系统资源占用、IDS 系统自身的可靠性。从而设计通用的入侵检测测试与评估方法和平台， 实现对多种IDS 系统的检测已成为当前IDS 的另一重要研究与发展领域。 与其它网络安全技术相结合 结合防火墙、PKIX、安全电子交易SET 等新的网络安全与电子商务技术，提供完整的网络安全保障。 入侵检测作为一种积极主动的安全防护技术， 提供了对内部攻击、外部攻击和误操作的实时保护， 在网络系统受到危害之前拦截和响应入侵。从网络安全立体纵深、多层次防御的角度出发， 入侵检测理应受到人们的高度重视， 这从国外入侵检测产品市场的蓬勃发展就可以看出。在国内， 随着上网的关键部门、关键业务越来越多， 迫切需要具有自主版权的入侵检测产品。入侵检测产品仍具有较大的发展空间， 从技术途径来讲， 除了完善常规的、传统的技术( 模式识别和完整性检测) 外， 应重点加强统计分析的相关技术研究。入侵检测是保护信息系统安全的重要途径， 对网络应用的发展具有重要意义与深远影响。研究与开发自主知识产权的IDS 系统将成为我国信息安全领域的重要课题。 参考文献 [1]耿麦香.网络入侵检测技术研究综述[J].网络安全技术与应用，2004(6). [2]王福生.数据挖掘技术在网络入侵检测中的应用[J].现代情报，2006(9). [3]蒋萍.网络入侵检测技术[J].郑州航空工业管理学院学报，2003(3). 看了“入侵检测技术论文”的人还看： 1. 关于入侵检测技术论文 2. 计算机网络入侵检测技术论文 3. 论文网络病毒检测技术论文 4. 安全防范技术论文 5. 计算机网络安全技术论文赏析