首页

> 学术论文知识库

首页 学术论文知识库 问题

人工神经网络论文文献

发布时间:

人工神经网络论文文献

智能计算机迄今未有公认的定义。在工具书中的解释为能存储大量信息和知识,会推理(包括演绎与归纳),具有学习功能,是现代计算技术、通信技术、人工智能和仿生学的有机结合,供知识处理用的一种工具。下面是我为大家整理的关于智能计算机的论文,希望大家喜欢!

关于智能计算机的论文篇一

《计算机在人工智能中的应用研究》

摘要:近年来,随着信息技术以及计算机技术的不断发展,人工智能在计算机中的应用也随之加深,其被广泛应用于计算机的各个领域。本文针对计算机在人工智能中的应用进行研究,阐述了人工智能的理论概念,分析当前其应用于人工智能所存在的问题,并介绍人工智能在部分领域中的应用。

关键词:计算机;人工智能;应用研究

一、前言

人工智能又称机器智能,来自于1956年的Dartmouth学会,在这学会上人们最初提出了“人工智能”这一词。人工智能作为一门综合性的学科,其是在计算机科学、信息论、心理学、神经生理学以及语言学等多种学科的互相渗透下发展而成。在计算机的应用系统方面,人工智能是专门研究如何制造智能系统或智能机器来模仿人类进行智能活动的能力,从而延伸人们的科学化智能。人工智能是一门富有挑战性的科学,从事这项工作的人必须懂得计算机知识、心理学与哲学。人工智能是处于思维科学的技术应用层次,是其应用分支之一。数学常被认为是多种学科的基础科学,数学也进入语言及思维领域,人工智能学科须借用数学工具。数学在标准逻辑及模糊数学等范围发挥作用,其进入人工智能学科,两者将互相促进且快速发展。

二、人工智能应用于计算机中存在的问题

(一)计算机语言理解的弱点。当前,计算机尚未能确切的理解语言的复杂性。然而,正处于初步研制阶段的计算机语言翻译器,对于算法上的规范句子,已能显示出极高的造句能力及理解能力。但其在理解句子意思上,尚未获得明显成就。我们所获取的信息多来自于上下文的关系以及自身掌握的知识。人们在日常生活中的个人见解、社会见解以及文化见解给句子附加的意义带来很大影响。

(二)模式识别的疑惑。采用计算机进行研究及开展模式识别,在一定程度上虽取得良好效果,有些已作为产品进行实际应用,但其理论以及方法和人的感官识别机制决然不同。人的形象思维能力以及识别手段,即使是计算机中最先进的识别系统也无法达到。此外,在现实社会中,生活作为一项结构宽松的任务,普通的家畜均能轻易对付,但机器却无法做到,这并不意味着其永久不会,而是暂时的。

三、人工智能在部分领域中的应用

伴随着AI技术的快速发展,当今时代的各种信息技术发展均与人工智能技术密切相关,这意味着人工智能已广泛应用于计算机的各个领域,以下是笔者对于人工智能应用于计算机的部分领域进行阐述。具体情况如下。

(一)人工智能进行符号计算。科学计算作为计算机的一种重要用途,可分为两大类别。第一是纯数值的计算,如求函数值。其次是符号的计算,亦称代数运算,是一种智能的快速的计算,处理的内容均为符号。符号可代表实数、整数、复数以及有理数,或者代表集合、函数以及多项式等。随着人工智能的不断发展以及计算机的逐渐普及,多种功能的计算机代数系统软件相继出现,如Maple或Mathematic。由于这些软件均用C语言写成,因此,其可在多数的计算机上使用。

(二)人工智能用于模式识别。模式识别即计算机通过数学的技术方法对模式的判读及自动处理进行研究。计算机模式识别的实现,是研发智能机器的突破点,其使人类深度的认识自身智能。其识别特点为准确、快速以及高效。计算机的模式识别过程相似于人类的学习过程,如语音识别。语音识别即为使计算机听懂人说

的话而进行自动翻译,如七国 语言的口语自动翻译系统。该系统的实现使人们出国时在购买机票、预定旅馆及兑换外币等方面,只需通过国际互联网及电话 网络,即可用电话或手机与“老外”进行对话。

(三)人工智能 计算机网络安全中的 应用。当前,在计算机的网络安全 管理中常见的技术主要有入侵检测技术以及防火墙技术。防火墙作为计算机网络安全的设备之一,其在计算机的网络安全管理方面发挥重要作用。以往的防火墙尚未有检 测加密Web流量的功能,原因在于其未能见到加密的SSL流中的数据,无法快速的获取SSL流中的数据且未能对其进行解密。因而,以往的防火墙无法有效的阻止应用程序的攻击。此外,一般的应用程序进行加密后,可轻易的躲避以往防火墙的检测。因此,由于以往的防火墙无法对应用数据流进行完整的监控,使其难以预防新型攻击。新型的防火墙是通过利用 统计、概率以及决策的智能方法以识别数据,达到访问受到权限的目地。然而此方法大多数是从人工智能的学科中采取,因此,被命名为“智能防火墙”。

(四)人工智能应用于计算机网络系统的故障诊断。人工神经网络作为一种信息处理系统,是通过人类的认知过程以及模拟人脑的 组织结构而成。1943年时,人工神经网络首次被人提出并得到快速 发展,其成为了人工智能技术的另一个分支。人工神经网络通过自身的优点,如联想记忆、自适应以及并列分布处理等,在智能故障诊断中受到广泛关注,并且发挥极大的潜力,为智能故障诊断的探索开辟新的道路。人工神经网络的诊断方法异于专家系统的诊断方法,其通过现场众多的标准样本进行学习及训练,加强调整人工神经网络中的阀值与连接权,使从中获取的知识隐藏分布于整个网络,以达到人工神经网络的模式记忆目的。因此,人工神经网络具备较强的知识捕捉能力,能有效处理异常数据,弥补专家系统方法的缺陷。

四、结束语

总而言之,人工智能作为计算机技术的潮流,其研究的理论及发现决定了计算机技术的发展前景。现今,多数人工智能的研究成果已渗入到人们的日常生活。因此,我们应加强人工智能技术的研究及开发,只有对其应用于各领域中存在的问题进行全面分析,并对此采取相应措施,使其顺利发展。人工智能技术的发展将给人们的生活、学习以及 工作带来极大的影响。

参考文献:

[1]杨英.智能型计算机辅助教学系统的实现与研究[J].电脑知识与技术,2009,9

[2]毛毅.人工智能研究 热点及其发展方向[J].技术与市场,2008,3

[3]李德毅.网络时代人工智能研究与发展[J].智能系统学报,2009,1

[4]陈步英,冯红.人工智能的应用研究[J].邢台 职业技术学院学报,2008,1

关于智能计算机的论文篇二

《基于智能计算的计算机网络可靠性分析》

摘 要:当今社会是一个信息化社会,网络化应用已经遍及生产、生活、科研等各个领域,计算机网络化已经成为一种趋势,计算机网络的可靠性研究也越来越得到计算机业界的广泛重视。本文主要论述了智能粒度计算分割理论方法,采用动态数组分层实现计算机网络系统最小路集运算,阐述了计算机网络系统可靠性分析的手段。

关键词:智能算法;计算机网络;可靠性分析

1 影响计算机网络可靠性的因素

用户设备。用户设备是提供给用户使用的终端设备,其功能是否可靠深刻影响着用户的使用感受,而且还会对计算机网络的可靠性产生重要影响。确保用户终端在使用过程中的可靠性是计算机网络运行过程中日常维护的重要组成部分,用户终端的交互能力越高,其网络就越可靠。

传输交换设备。传输设备包括了传输线路和传输设备,在实践中,如果是由于传输线路原因造成的计算机网络故障,一般是比较难以发觉的,有时候为了找出这一故障原因所在,所需要耗费的工作量是比较大的。所以,在安装传输设备的时候要采用标准化的通信线路和布线系统,而且要充分考虑到冗余和容错能力,以最大程度保障网络的可靠性。在条件允许的情况下,最好采用双成线布线方式,以便在出现故障的时候可以切换网络线路。

网络管理。在一些比较大型的网络设备结构中,所使用的网络产品和设备都是不同的生产厂商生产的,规模比较大,结构也相对比较复杂。提高计算机网络的可靠性,可以保证信息传输具备完整性、降低信息丢失的发生率、减少故障及误码的发生率。提高计算机网络的可靠性需要采用先进的网络管理技术对运行中的网络参数进行实时采集,并排除存在的故障。

网络拓扑结构。网络拓扑结构是指采用传输介质将各种设备相互连接布局起来,主要体现在网络设备间在物理上的相互连接。计算机网络拓扑结构关系到整个网络的规划结构,是关系到计算机网络可靠性的重要决定因素之一。网络拓扑结构的性能主要受到网络技术、网络规模、用户分布和传输介质等因素的影响。随着人们对网络性能要求的提高,现在计算机网络拓扑结构需要满足更多的要求,比如容错直径、宽直径、限制连通度、限制容错直径等等。这些参数更加能够精确的衡量计算机网络的可靠性和容错性,以实现计算机网络规划的科学性和可靠性。

2 基于智能计算的网络可靠性分析

基于智能计算的网络可靠性概念。计算机网络系统的组成部分包括了节点和连接节点的弧,节点又可以分为输入节点(只有输出弧但没有节点属于输入弧的)、输出节点(只有输入弧而没有输出弧的节点)和中间节点(非输入、输出节点);网络又可以分为有向网络(全部都是由有向弧组成的网络)、无向网络(全部由无向弧组成的网络)以及混合网络(包含了有向弧和无向弧)。在一些结构比较复杂的网络系统中,为了能够准确分析系统的可靠性,一般会用网络图来表示。在分析网络可靠性的时候,我们通常会做这样的简化:系统或弧只存在正常和故障两种状态;无向弧不同方向都有相同的可靠度;任何一条弧发生故障都不会影响到其他弧的正常使用。

网络系统最小路集的节点遍历法。求网络系统最小路集的方法一般有以下三种方法:其一,邻接矩阵又叫联络矩阵法,其原理就是对一个矩阵进行乘法和多次乘法运算,这种方法比较适合节点不多的网络进行手算操作,但在节点数非常多的时候就不太适合了,因为那样运算量会很大,对计算机的容量要求也很高,运算时间也很长,不太适合这种方法;其二,布尔行列式法,该种方法类似于求矩阵行列式,这种方法比较容易理解,操作简便,可以用手工处理,但是在节点比较多的网络中的应用就比较繁琐;其三,节点遍历法以其条理清晰、能够求解多节点数的复杂网络而被广泛使用,但是该方法判断条件较多,在考虑欠周全的时候容易出现差错。求网络系统最小路集的基本方法是:从输入节点I开始逐个点遍历,一直到输出点L,直到找到所有的最小路集为止,在这个过程中需要作出以下几个判断:判断当前节点是否有跟之前的节点重复;判断是否有找到最小路集;判断是否已经完成所有最小路集的寻找。

基于智能粒度计算分割的计算机网络系统最小路集运算。粒是论域上的一簇点,而这些点往往难以被区别、接近,或者是跟某种功能结合在一起,而粒计算是盖住许多具体领域的问题求解方法的一把大伞,具体表现为区间分析、分治法、粗糙集理论。基于智能粒度计算改进节点遍历法的计算机网络系统最小路集运算方法一般作如下操作:首先是将传统网络系统最小路集节点遍历计算方法中的二维数组用一维表示出来,容易表示为n-1,这是因为n节点的网络系统最小路集的最大路长小于或等于n-1,即是启用一维动态数组,从输入节点到输出节点,逐个节点遍历,并将结果存放在一维数组中,当找到最小路集之后,就可以将结果写入到硬盘的文件中,再继续寻找下一个最小路集,找到后写入硬盘文件,依次类推下去直到找到所有的最小路集,释放一维动态数组;其次,将融入到运算中的数组以动态的方式参与到运算中去,完成运算功能后就立即释放掉,这样就可以节省内存空间,提高整体的运算速度;再者,根据节点表示的最小路集文件,将其转变成用弧表示的最小路集,并储存起来以便于后续的相关计算;最后,利用智能粒度计算分割对象理论方法,采用动态数组分层实现,从而实现对计算机网络系统的可靠性分析。

3 计算机网络可靠性的实现

计算机网络层次、体系结构设计。可靠的计算机网络除了要配套先进的网络设备,且其网络层次结构和体系结构也要具备先进性,科学合理的网络层次和体系结构设计可以将网络设备的性能充分的发挥出来。网络层次设计就是要将分布式的网络服务随着网络吞吐量的增多而搭建起规模化的高速网络分层设计模型。网络的模块化层次设计可以随着日后网络节点的增加,网络容量不断的增大,以加大确定性,方便日常的操作性。

计算机网络的容错能力实现。容错性设计的指导原则是“并行主干、双网络中心”,其具体设计为:其一,将用户终端设备和服务器同时连接到计算机网络中心,一般需要通过并行计算机网络和冗余计算机网络中心的方法来实行;其二,将广域网范围内的数据链路和路由器相互连接起来,以确保任何一数据链路的故障不会对局部网络用户产生影响;其三,尽量使用热插热拔功能的网络设备,这样不但可以使得组网方式灵活,还可以在不切断电源的情况下及时更换故障模块,从而提高计算机网络长时间工作的能力;最后,采用多处理器和特别设计的具有容错能力的系统来操作网络管理软件实现容错的目的。

采用冗余措施。提高计算机网络系统的容错性是提高计算机网络可靠性的最有效方法,计算机网络的容错性设计就是寻找常见的故障,这可以通过冗余措施来加强,以最大限度缩短故障的持续时间,避免计算机网络出现数据丢失、出错、甚至瘫痪现象,比如冗余用户到计算机网络中心的数据链路。

4 结束语

研究计算机网络系统的可靠性对解决问题有着重要的意义,所以研究其可靠性是很有必要的,但从理论方法上看还需要进一步深入探讨。随着计算机网络系统的应用遍及各个角落,其可靠性分析已经越来越备受业界的关注。网络可靠性分析的手段要本着理论服务于实践的宗旨,将可靠性分析理论应用到实际生产中,使计算机网络的建设更加的科学、合理。

参考文献:

[1]刘君.计算机网络可靠性优化设计问题的研究[J].中国科技信息,2011(18):29.

[2]邓志平.浅谈计算机网络可靠性优化设计[J].科技广场,2010(10):52.

[3]高飞.基于网络状态之间关系的网络可靠性分析[J].通信网络,2012(25):19.

IEEE的论文,尤其是transaction on neural networks 或者是SCI收录的 NEURAL NETWORKS

知网什么的吧

人工神经网络论文的参考文献

你不翻译了???

神经网络的是我的毕业论文的一部分4.人工神经网络人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程;它先将信息化成概念,并用符号表示,然后,根据符号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令,让计算机执行。然而,直观性的思维是将分布式存储的信息综合起来,结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络学习的原理人工神经网络首先要以一定的学习准则进行学习,然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明,规定当“A”输入网络时,应该输出“1”,而当输入为“B”时,输出为“0”。 所以网络学习的准则应该是:如果网络做出错误的判决,则通过网络的学习,应使得网络减少下次犯同样错误的可能性。首先,给网络的各连接权值赋予(0,1)区间内的随机值,将“A”所对应的图像模式输入给网络,网络将输入模式加权求和、与门限比较、再进行非线性运算,得到网络的输出。在此情况下,网络输出为“1”和“0”的概率各为50%,也就是说是完全随机的。这时如果输出为“1”(结果正确),则使连接权值增大,以便使网络再次遇到“A”模式输入时,仍然能做出正确的判断。 如果输出为“0”(即结果错误),则把网络连接权值朝着减小综合输入加权值的方向调整,其目的在于使网络下次再遇到“A”模式输入时,减小犯同样错误的可能性。如此操作调整,当给网络轮番输入若干个手写字母“A”、“B”后,经过网络按以上学习方法进行若干次学习后,网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功,它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时,能够做出迅速、准确的判断和识别。一般说来,网络中所含的神经元个数越多,则它能记忆、识别的模式也就越多。人工神经网络的优缺点人工神经网络由于模拟了大脑神经元的组织方式而具有了人脑功能的一些基本特征,为人工智能的研究开辟了新的途径,神经网络具有的优点在于:(1)并行分布性处理因为人工神经网络中的神经元排列并不是杂乱无章的,往往是分层或以一种有规律的序列排列,信号可以同时到达一批神经元的输入端,这种结构非常适合并行计算。同时如果将每一个神经元看作是一个小的处理单元,则整个系统可以是一个分布式计算系统,这样就避免了以往的“匹配冲突”,“组合爆炸”和“无穷递归”等题,推理速度快。(2)可学习性一个相对很小的人工神经网络可存储大量的专家知识,并且能根据学习算法,或者利用样本指导系统来模拟现实环境(称为有教师学习),或者对输入进行自适应学习(称为无教师学习),不断地自动学习,完善知识的存储。(3)鲁棒性和容错性由于采用大量的神经元及其相互连接,具有联想记忆与联想映射能力,可以增强专家系统的容错能力,人工神经网络中少量的神经元发生失效或错误,不会对系统整体功能带来严重的影响。而且克服了传统专家系统中存在的“知识窄台阶”问题。(4)泛化能力人工神经网络是一类大规模的非线形系统,这就提供了系统自组织和协同的潜力。它能充分逼近复杂的非线形关系。当输入发生较小变化,其输出能够与原输入产生的输出保持相当小的差距。(5)具有统一的内部知识表示形式,任何知识规则都可以通过对范例的学习存储于同一个神经网络的各连接权值中,便于知识库的组织管理,通用性强。虽然人工神经网络有很多优点,但基于其固有的内在机理,人工神经网络也不可避免的存在自己的弱点:(1)最严重的问题是没能力来解释自己的推理过程和推理依据。(2)神经网络不能向用户提出必要的询问,而且当数据不充分的时候,神经网络就无法进行工作。(3)神经网络把一切问题的特征都变为数字,把一切推理都变为数值计算,其结果势必是丢失信息。(4)神经网络的理论和学习算法还有待于进一步完善和提高。神经网络的发展趋势及在柴油机故障诊断中的可行性神经网络为现代复杂大系统的状态监测和故障诊断提供了全新的理论方法和技术实现手段。神经网络专家系统是一类新的知识表达体系,与传统专家系统的高层逻辑模型不同,它是一种低层数值模型,信息处理是通过大量的简单处理元件(结点) 之间的相互作用而进行的。由于它的分布式信息保持方式,为专家系统知识的获取与表达以及推理提供了全新的方式。它将逻辑推理与数值运算相结合,利用神经网络的学习功能、联想记忆功能、分布式并行信息处理功能,解决诊断系统中的不确定性知识表示、获取和并行推理等问题。通过对经验样本的学习,将专家知识以权值和阈值的形式存储在网络中,并且利用网络的信息保持性来完成不精确诊断推理,较好地模拟了专家凭经验、直觉而不是复杂的计算的推理过程。但是,该技术是一个多学科知识交叉应用的领域,是一个不十分成熟的学科。一方面,装备的故障相当复杂;另一方面,人工神经网络本身尚有诸多不足之处:(1)受限于脑科学的已有研究成果。由于生理实验的困难性,目前对于人脑思维与记忆机制的认识还很肤浅。(2)尚未建立起完整成熟的理论体系。目前已提出了众多的人工神经网络模型,归纳起来,这些模型一般都是一个由结点及其互连构成的有向拓扑网,结点间互连强度所构成的矩阵,可通过某种学习策略建立起来。但仅这一共性,不足以构成一个完整的体系。这些学习策略大多是各行其是而无法统一于一个完整的框架之中。(3)带有浓厚的策略色彩。这是在没有统一的基础理论支持下,为解决某些应用,而诱发出的自然结果。(4)与传统计算技术的接口不成熟。人工神经网络技术决不能全面替代传统计算技术,而只能在某些方面与之互补,从而需要进一步解决与传统计算技术的接口问题,才能获得自身的发展。虽然人工神经网络目前存在诸多不足,但是神经网络和传统专家系统相结合的智能故障诊断技术仍将是以后研究与应用的热点。它最大限度地发挥两者的优势。神经网络擅长数值计算,适合进行浅层次的经验推理;专家系统的特点是符号推理,适合进行深层次的逻辑推理。智能系统以并行工作方式运行,既扩大了状态监测和故障诊断的范围,又可满足状态监测和故障诊断的实时性要求。既强调符号推理,又注重数值计算,因此能适应当前故障诊断系统的基本特征和发展趋势。随着人工神经网络的不断发展与完善,它将在智能故障诊断中得到广泛的应用。根据神经网络上述的各类优缺点,目前有将神经网络与传统的专家系统结合起来的研究倾向,建造所谓的神经网络专家系统。理论分析与使用实践表明,神经网络专家系统较好地结合了两者的优点而得到更广泛的研究和应用。离心式制冷压缩机的构造和工作原理与离心式鼓风机极为相似。但它的工作原理与活塞式压缩机有根本的区别,它不是利用汽缸容积减小的方式来提高汽体的压力,而是依靠动能的变化来提高汽体压力。离心式压缩机具有带叶片的工作轮,当工作轮转动时,叶片就带动汽体运动或者使汽体得到动能,然后使部分动能转化为压力能从而提高汽体的压力。这种压缩机由于它工作时不断地将制冷剂蒸汽吸入,又不断地沿半径方向被甩出去,所以称这种型式的压缩机为离心式压缩机。其中根据压缩机中安装的工作轮数量的多少,分为单级式和多级式。如果只有一个工作轮,就称为单级离心式压缩机,如果是由几个工作轮串联而组成,就称为多级离心式压缩机。在空调中,由于压力增高较少,所以一般都是采用单级,其它方面所用的离心式制冷压缩机大都是多级的。单级离心式制冷压缩机的构造主要由工作轮、扩压器和蜗壳等所组成。 压缩机工作时制冷剂蒸汽由吸汽口轴向进入吸汽室,并在吸汽室的导流作用引导由蒸发器(或中间冷却器)来的制冷剂蒸汽均匀地进入高速旋转的工作轮3(工作轮也称叶轮,它是离心式制冷压缩机的重要部件,因为只有通过工作轮才能将能量传给汽体)。汽体在叶片作用下,一边跟着工作轮作高速旋转,一边由于受离心力的作用,在叶片槽道中作扩压流动,从而使汽体的压力和速度都得到提高。由工作轮出来的汽体再进入截面积逐渐扩大的扩压器4(因为汽体从工作轮流出时具有较高的流速,扩压器便把动能部分地转化为压力能,从而提高汽体的压力)。汽体流过扩压器时速度减小,而压力则进一步提高。经扩压器后汽体汇集到蜗壳中,再经排气口引导至中间冷却器或冷凝器中。 二、离心式制冷压缩机的特点与特性 离心式制冷压缩机与活塞式制冷压缩机相比较,具有下列优点: (1)单机制冷量大,在制冷量相同时它的体积小,占地面积少,重量较活塞式轻5~8倍。 (2)由于它没有汽阀活塞环等易损部件,又没有曲柄连杆机构,因而工作可靠、运转平稳、噪音小、操作简单、维护费用低。 (3)工作轮和机壳之间没有摩擦,无需润滑。故制冷剂蒸汽与润滑油不接触,从而提高了蒸发器和冷凝器的传热性能。 (4)能经济方便的调节制冷量且调节的范围较大。 (5)对制冷剂的适应性差,一台结构一定的离心式制冷压缩机只能适应一种制冷剂。 (6)由于适宜采用分子量比较大的制冷剂,故只适用于大制冷量,一般都在25~30万大卡/时以上。如制冷量太少,则要求流量小,流道窄,从而使流动阻力大,效率低。但近年来经过不断改进,用于空调的离心式制冷压缩机,单机制冷量可以小到10万大卡/时左右。 制冷与冷凝温度、蒸发温度的关系。 由物理学可知,回转体的动量矩的变化等于外力矩,则 T=m(C2UR2-C1UR1) 两边都乘以角速度ω,得 Tω=m(C2UωR2-C1UωR1) 也就是说主轴上的外加功率N为: N=m(U2C2U-U1C1U) 上式两边同除以m则得叶轮给予单位质量制冷剂蒸汽的功即叶轮的理论能量头。 U2 C2 ω2 C2U R1 R2 ω1 C1 U1 C2r β 离心式制冷压缩机的特性是指理论能量头与流量之间变化关系,也可以表示成制冷 W=U2C2U-U1C1U≈U2C2U (因为进口C1U≈0) 又C2U=U2-C2rctgβ C2r=Vυ1/(A2υ2) 故有 W= U22(1- Vυ1 ctgβ) A2υ2U2 式中:V—叶轮吸入蒸汽的容积流量(m3/s) υ1υ2 ——分别为叶轮入口和出口处的蒸汽比容(m3/kg) A2、U2—叶轮外缘出口面积(m2)与圆周速度(m/s) β—叶片安装角 由上式可见,理论能量头W与压缩机结构、转速、冷凝温度、蒸发温度及叶轮吸入蒸汽容积流量有关。对于结构一定、转速一定的压缩机来说,U2、A2、β皆为常量,则理论能量头W仅与流量V、蒸发温度、冷凝温度有关。 按照离心式制冷压缩机的特性,宜采用分子量比较大的制冷剂,目前离心式制冷机所用的制冷剂有F—11、F—12、F—22、F—113和F—114等。我国目前在空调用离心式压缩机中应用得最广泛的是F—11和F—12,且通常是在蒸发温度不太低和大制冷量的情况下,选用离心式制冷压缩机。此外,在石油化学工业中离心式的制冷压缩机则采用丙烯、乙烯作为制冷剂,只有制冷量特别大的离心式压缩机才用氨作为制冷剂。 三、离心式制冷压缩机的调节 离心式制冷压缩机和其它制冷设备共同构成一个能量供给与消耗的统一系统。制冷机组在运行时,只有当通过压缩机的制冷剂的流量与通过设备的流量相等时,以及压缩机所产生的能量头与制冷设备的阻力相适应时,制冷系统的工况才能保持稳定。但是制冷机的负荷总是随外界条件与用户对冷量的使用情况而变化的,因此为了适应用户对冷负荷变化的需要和安全经济运行,就需要根据外界的变化对制冷机组进行调节,离心式制冷机组制冷量的调节有:1°改变压缩机的转速;2°采用可转动的进口导叶;3°改变冷凝器的进水量;4°进汽节流等几种方式,其中最常用的是转动进口导叶调节和进汽节流两种调节方法。所谓转动进口导叶调节,就是转动压缩机进口处的导流叶片以使进入到叶轮去的汽体产生旋绕,从而使工作轮加给汽体的动能发生变化来调节制冷量。所谓进汽节流调节,就是在压缩机前的进汽管道上安装一个调节阀,如要改变压缩机的工况时,就调节阀门的大小,通过节流使压缩机进口的压力降低,从而实现调节制冷量。离心式压缩机制冷量的调节最经济有效的方法就是改变进口导叶角度,以改变蒸汽进入叶轮的速度方向(C1U)和流量V。但流量V必须控制在稳定工作范围内,以免效率下降。

随着科学技术的发展,人工神经网络技术得到了空前的发展,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料,欢迎阅读!

人工神经网络的发展及应用

摘要随着科学技术的发展,人工神经网络技术得到了空前的发展,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段,是人工智能的重要组成部分,并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾,并对其在各个领域的应用情况进行探讨。

关键词人工神经网络;发展;应用

随着科学技术的发展,各个行业和领域都在进行人工智能化的研究工作,已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支,对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今,经历了不同的发展阶段,并且在经济、生物、医学等领域得到了广泛的应用,解决了许多技术上的难题。

1人工神经网络概述

关于人工神经网络,到目前为止还没有一个得到广泛认可的统一定义,综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性,其具有很强的并行结构以及并行处理的能力,在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性,对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力,因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强,能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟,而且近年来在硬件方面也得到了较大发展,提高了人工神经网络系统的信息处理能力。

2人工神经网络的发展历程

萌芽时期

在20世纪40年代,生物学家McCulloch与数学家Pitts共同发表文章,第一次提出了关于神经元的模型M-P模型,这一理论的提出为神经网络模型的研究和开发奠定了基础,在此基础上人工神经网络研究逐渐展开。1951年,心理学家Hebb提出了关于连接权数值强化的法则,为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流,为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后,出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型,提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。

低谷时期

在人工神经网络形成的初期,人们只是热衷于对它的研究,却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究,在1969年对之前所取得的研究成果提出了质疑,认为当前研究出的神经网络只合适处理比较简单的线性问题,对于非线性问题以及多层网络问题却无法解决。由于他们的质疑,使神经网络的发展进入了低谷时期,但是在这一时期,专家和学者也并没有停止对神经网络的研究,针对他们的质疑也得出一些相应的研究成果。

复兴时期

美国的物理学家Hopfield在1982年提出了新的神经网络模型,并通过实验证明在满足一定的条件时,神经网络是能够达到稳定的状态的。通过他的研究和带动,众多专家学者又重新开始了对人工神经网络方面的研究,推动了神经网络的再一次发展[3]。经过专家学者的不断努力,提出了各种不同的人工神经网络的模型,神经网络理论研究不断深化,新的理论和方法层出不穷,使神经网络的研究和应用进入了一个崭新的时期。

稳步发展时期

随着人工神经网络研究在世界范围内的再次兴起,我国也迎来了相关理论研究的热潮,在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时,国内对于神经网络领域的研究得到了进一步的完善和发展,而且能够利用神经网络对非线性的系统控制问题进行解决,研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开,我国人工神经网络的研究和应用条件逐步改善,得到了国际的关注。

随着人工神经网络的稳步发展,逐渐建立了光学神经网络系统,利用光学的强大功能,提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题,采取有效措施,提高超平面的光滑性,对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法,虽然保证了精度,但也加大了消耗,在一定程度上降低了神经网络的效率,因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步,提高了神经网络的泛化能力。

3人工神经网络的应用

在信息领域中的应用

人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展,当代信息处理工作越来越复杂,利用人工神经网络系统可以对人的思维进行模仿甚至是替代,面对问题自动诊断和解决,能够轻松解决许多传统方法无法解决的问题,在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析,对事物进行辨别和解释的一个过程,这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种,一种是统计模式识别,还有一种是结构模式识别,在语音识别和指纹识别等方面得到了广泛的应用。

在医学领域的应用

人工神经网络对于非线性问题处理十分有效,而人体的构成和疾病形成的原因十分复杂,具有不可预测性,在生物信号的表现形式和变化规律上也很难掌握,信息检测和分析等诸多方面都存在着复杂的非线性联系,所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前,在医学领域中的应用涉及到理论和临床的各个方面,最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。

在经济领域中的应用

经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测,人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理,与传统的经济统计方法相比具有其无法比拟的优势,数据分析的稳定性和可靠性更强。

在其他领域的应用

人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用,能够对高难度的非线性问题进行处理,对交通运输方面进行集成式的管理,以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题,促进了各个领域的快速发展。

4总结

随着科技的发展,人工智能系统将进入更加高级的发展阶段,人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代,但是其特有的非线性信息处理能力解决了许多人工无法解决的问题,在智能系统的各个领域中得到成功应用,今后的发展趋势将向着更加智能和集成的方向发展。

参考文献

[1]徐用懋,冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展,1993(5):8-12,20.

[2]汤素丽,罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用,2009(10):59-61.

[3]李会玲,柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报,2009(5):44-46.

[4]过效杰,祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利,2004(1):22-23.

[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学,2006.

下一页分享更优秀的<<<人工智能神经网络论文

bp神经网络论文

2018年6月21日,天津大学建筑工程学院发出通报,撤销抄袭论文的2008届建筑与土木工程专业在职研究生李瑞锋硕士学位。

通报称:

近期,学院接到电话举报,反映我院2008届在职研究生李瑞锋硕士学位论文涉嫌抄袭。学院对此事高度重视,成立了调查小组对情况进行核实认定,经调查李瑞锋硕士学位论文抄袭情况属实。

依据《天津大学研究生学术规范》,天津大学学位评定委员会第八分委会于2018年6月12日召开第103次会议,会上讨论了李瑞锋硕士学位论文抄袭情况和处理意见,一致通过撤销李瑞锋原授予学位、追回李瑞锋已授予工程硕士学位证书的决定,并已报请学校学位评定委员会批准。

近日,有网友称,天津大学一篇硕士学位论文涉嫌大面积抄袭内蒙古农业大学的一篇硕士学位论文。

这两篇论文分别是天津大学建筑工程学院建筑与土木工程2008届硕士毕业生李瑞锋的硕士学位论文《BP神经网络在现场混凝土强度预测中的应用研究》(以下简称“李瑞锋论文”)与内蒙古农业大学农业水土工程2005届硕士毕业生武欣慧的硕士学位论文《基于人工神经网络的普通混凝土强度预测的研究》(以下简称“武欣慧论文”)。

武欣慧论文完成于2005年5月,李瑞锋论文的完成时间是2008年5月,从时间上看,李瑞锋论文比武欣慧论文完成时间晚了3年。

澎湃新闻记者从中国知网上下载了上述两篇论文,仔细比对后发现,两篇论文从目录到正文内容都高度雷同,74条参考文献从书名、出版时间到引用的页码都毫无差别。

值得注意的是,李瑞锋论文在“致谢”部分还特别感谢了彼时已成为内蒙古农业大学副教授的武欣慧。

针对李瑞锋论文涉嫌抄袭武欣慧论文并致谢武欣慧一事,近日,澎湃新闻联系到武欣慧了解求证。目前在内蒙古农业大学林学院任教的武欣慧告诉澎湃新闻,她完全不认识李瑞锋,自己的硕士学位论文系原创,对是否被他人抄袭情况并不知情。

比对两篇论文后发现,两篇论文的题目虽然不完全相同,但都以神经网络对混凝土强度的预测应用为研究对象。

两篇论文的中文摘要部分极度相似。武欣慧论文的中文摘要分为两个自然段,具体内容为:

“抗压强度是混凝土最重要的性能之一,是混凝土质量控制的核心内容,同时也是结构设计和施工的重要依据。规范规定评定结构构件的混凝土强度需标准养护28天才能获得,不能满足现代化施工的时间要求,同时又可能留下隐患。因此,发展混凝土强度早期快速测定技术,提高预测精度具有重大意义。

“借鉴国内外有关混凝土强度预测的研究成果,结合人工神经网络基本原理,运用MATLAB神经网络工具箱,就网络的输入向量、网络结构、传递函数及其它参数的选择展开研究。在此基础上,选择内蒙古中西部地区三座野外变电站制作大量同条件养护标准试件,作为网络模型的训练样本和测试样本,分别运用基本BP算法、附加动量因子的自适应调整学习率算法和L—M算法三种方法训练网络,经大量试算和仿真结果比对,最终利用L—M算法建立网络结构合理、收敛速度快、精度高的满足工程要求的普通混凝土强度预测模型,与多元线性回归模型预测结果相比,BP网络模型有更高的精度,将预测误差控制在3%以内,可以极大程度上避免目前混凝土施工中存在的强度预测偏差较大的问题。”

的用电,同时能提高供电电压质量以及供电可靠性。乌拉特前旗气象局提供的30年(1971至2000)气象资料气温统计结果见表4。在本研究中,87组样本取自于本站1#、2#、3#主变压器基础及电缆沟。”

1绪论研究背景与研究目的意义中国互联网络信息中心(CNNIC,2018)发布了截至2018年12月的第43次中国互联网发展统计报告。根据该报告,截至2018年12月,中国互联网用户数量为亿,并且每年保持在5000多万增量。而且这种趋势将在未来几年继续保持。5G时代的来临将会加快促进互联网与其他产业融合,网络规模必然会进一步增大。传统的网络管理系统以分布式网络应用系统为基础,采用软件和硬件相结合的方式。SNMP协议是目前网络管理领域运用最为广泛的网络管理协议,它将从各类网络设备中获取数据方式进行了统一化,几乎所有的网络设备生产厂商都支持此协议。然而传统的基于SNMP的网络管理软件大多基于C/S架构,存在着扩展性和灵活性差,升级维护困难等缺点,对网为网络的管理带来了一定程度的不便。因此,基于三层的网管系统己经成为发展趋势,随着Web技术迅猛发展,诞生了以Web浏览器和服务器为核心,基于B/S ( Browser/Server)架构的“Web分布式网络管理系统”,它具有不依赖特定的客户端应用程序,跨平台,方便易用,支持分布式管理,并且可动态扩展和更新等优点。本文将重点研究基于BP故障诊断模型,实现了一种以接口故障为研究对象的智能网络管理系统模型,并以此为基础,设计与实现基于web的智能网络管理系统,不仅可以通过对网络数据实时监控,而且基于BP网络故障诊断模型可以诊断通信网中的接口故障,在一定程度上实现网络故障管理的自动化。该系统在保证网络设备提供稳定可靠的网络服务同时,也可以降低企业在维护网络设备上的成本。国内外研究现状网络设备管理是指对各种网络设备(如核心层、汇接层、接入层路由与交换设备、服务器和计算机)进行各种操作和相关配置,管理服务器(Manager)用来处理网络信息,配合管理服务器对网络信息处理并管理的实体被称为代理服务器(Agent),被管对象是指用于提供网络服务或使用网络服务等设备的全部资源信息,各种不同的被管对象构成了管理信息库。在实际的网络管理过程当中,管理服务器和代理服务器以及代理服务器和被管对象三种实体之间都是通过规范的网络管理协议来进行信息的交互(王鹤 2015)。相比国外的网络管理系统及产品,国内相应的网络管理系统和产品起步比较晚,但是随着互联网技术的发展网络管理软件发展势头迅猛,诞生了很多优秀的网络管理软件,这些软件已经广泛运用在我国网络管理领域。国外研究现状目前国外大型网络服务商都有与其产品相对应的网络管理系统。从最初步的C/S架构逐步过渡到现在的B/S架构。比较著名的:Cabletron系统公司的SPECTRUM,Cisco公司的CiscoWorks,HP公司的OpenView,Tivoli系统公司的TH NetView。这些网络管理产品均与自家产品相结合,实现了网络管理的全部功能,但是相对专业化的系统依旧采用C/S架构。NetView这款管理软件在网络管理领域最为流行。NetView可以通过分布式的方式实时监控网络运行数据,自动获取网络拓扑中的变化生成网络拓扑。另外,该系统具有强大的历史数据备份功能,方便管理员对历史数据统计管理。OpenView具有良好的兼容性,该软件集成了各个网络管理软件的优势,支持更多协议标准,异种网络管理能力十分强大。CiscoWorks是Cisco产品。该软件支持远程控制网络设备,管理员通过远程控制终端管理网络设备,提供了自动发现、网络数据可视化、远程配置设备和故障管理等功能。使用同一家产品可以更好的服务,因此CiscoWorks结合Cisco平台其他产品针对Cisco设备可以提供更加细致的服务。Cabletron的SPECTRUM是一个具有灵活性和扩展性的网络管理平台,它采用面向对象和人工智能的方法,可以管理多种对象实体,利用归纳模型检查不同的网络对象和事件,找到它们的共同点并归纳本质。同时,它也支持自动发现设备,并能分布式管理网络和设备数据。国内研究现状随着国内计算机发展迅猛,网络设备规模不断扩大,拓扑结构复杂性也随之日益增加,为应对这些问题,一大批优秀的网络管理软件应运而生。像南京联创OSS综合网络管理系统、迈普公司Masterplan等多个网络管理系统。华为公司的iManager U2000网络管理系统,北京智和通信自主研发的SugarNMS开源网络管理平台,均得到较为广泛应用。Masterplan主要特点是能够对网络应用实现良好的故障诊断和性能管理,适用于网络内服务器、网络设备以及设备上关键应用的监测管理。SugarNMS具有一键自动发现、可视化拓扑管理、网络资源管理、故障管理、日志管理、支付交付等功能,并提供C/S和B/S两种使用方式。iManager U2000定位于电信网络的网元管理层和网络管理层,采用开放、标准、统一的北向集成,很大程度上缩短OSS集成时间,系统运行以业务为中心,缩短故障处理时间,从而减少企业故障处理成本。近些年来,随着人工智能技术的崛起,越来越多的企业开始将人工智能技术应用在网络管理上面,替代传统的集中式网络管理方式。为了减小企业维护网络的成本,提高网管人员工作效率,智能化、自动化的网络管理系统成为许多学者研究的热点。神经网络在网络管理中的适用性分析网络管理的功能就是对网络资源进行管控、监测通信网络的运行状态以及排查网络故障。管控网络资源,本质上就是管理员为了满足业务需求下发相关设备配置命令改变网络设备状态,以保证稳定的服务;监测网络运行状态一般是指周期的或者实时的获取设备运行状态进行可视化,以方便管理员进行分析当前设备是否正常运行。排查网络故障是管理员通过分析网络设备运行数据与以往数据进行比较或者根据自身经验进行分析,确定故障源头、故障类别、产生原因、解决方法。故障排除是针对前一阶段发现的网络故障进行特征分析,按照诊断流程得出结果,执行特定的指令动作来恢复网络设备正常运行(洪国栋,2016)。神经网络具有并行性和分布式存储、自学习和自适应能力、非线性映射等基本特点。当下最为流行的神经网络模型就是BP(Back-Propagation)神经网络,是一种按照误差逆向传播算法训练多层前馈神经网络,属于监督式学习神经网络的一种。该模型分为输入层、隐含层以及输出层,网络模型在外界输入样本的刺激不断改变连接权值,将输出误差以某种形式通过隐含层向输入层逐层反转,使得网络输出不断逼近期望输出,其本质就是连接权值的动态调整。BP神经网络拥有突出的泛化能力,善于处理分类问题。BP网络是目前常用的误差处理方式,在众多领域得到了广泛的应用,它的处理单元具有数据量大、结构简单等特点,并且神经网络以对大脑的生理研究成果为基础,模拟大脑某些机制与机理组成十分繁杂的非线性动力学系统,其在处理网络设备运行中的数据时以及在比较模糊信号问题的时候,能够自主学习并得出需要的结果。能够将模型中输入输出矢量进行分类、连接、来适应复杂的传输存储处理。因此,本文会基于现有网络管理技术结合BP神经网络去解决网络故障问题。本文主要研究目标本文研究目标针对传统网络管理中故障方案的问题与不足,本文探究基于BP神经网络的方法来构建基于通信网接口故障诊断模型。通过构建的通信网接口故障诊断模型可以有效的诊断接口故障并判别出故障类型。推动现有网络管理系统更趋近于智能化。以此为基础,分析、设计、实现基于三层架构的智能网络管理系统技术路线智能网络研究首先要确定该系统的开发技术路线,课题研究的主要过程首先是在查阅相关科研资料的基础上,搭建实验环境。在保证网络正常通信的前提下采集各个端口的流入流出流量,记录设备的运行状态并对设备进信息进行管理。同时布置实验环境相应故障,包括:改变端口状态、更改端口ip地址、子网掩码,采集通讯网络接口故障发生时网络拓扑中产生的异常数据。查阅BP神经网络在故障在诊断方面的相关论文,基于网络通讯设备接口的常见故障以及相关故障文档构建BP神经网络故障模型,并判断故障模型的有效性。逐步地实现系统的全部功能。最后进行系统测试,得出结论,应用于实际。本文组织结构本文主要由六个章节构成,各章节主要内容如下:第一章绪论。本章首先简要介绍了网络管理系统当前的发展及应用现状从而进一步分析出建立智能网络管理系统的重要意义。阐述了网络管理系统国内外研究现状。最后论述了本文研究目的与组织结构。第二章相关概念及相关技术。本章对SNMP的相关技术进行详细介绍,SNMP组织模型 、SNMP管理模型、SNMP信息模型、SNMP通讯模型。然后对前端框架Vue和绘图插件Echarts技术进行介绍,其次介绍了常见的故障分析技术,专家系统、神经网络等,最后对神经网络基本概念和分类进行简要描述。第三章基于BP神经网络故障推理模型。介绍了BP神经网络的基本概念、网络结构、设计步骤、训练过程,以接口故障为例详细介绍了BP神经网络故障模型的构建过程。第四章智能网络管理系统分析与系统设计。首先进行了需求分析,其次对体系结构设计、系统总体模块结构设计进行说明,对系统各个功能模块分析设计结合活动图进行详细说明,最后对数据库设计进行简要说明。第五章智能网络管理系统的实现。对整体开发流程进行了说明,对用户管理模块、配置管理模块、设备监控模块、故障诊断模块实现流程进行描述并展示实现结果。第六章系统测试与结论。并对系统的部分功能和性能进行了测试,并加以分析。第七章总结与展望。总结本文取得的研究成果和存在的问题,并提出下一步改进系统的设想与对未来的展望。2相关概念及相关技术网络管理概述网络管理就是通过合适手段和方法,确保通信网络可以根据设计目标稳定,高效运行。不仅需要准确定位网络故障,还需要通过分析数据来预先预测故障,并通过优化设置来降低故障的发生率。网络管理系统的五大基本功能,分别为:配置管理、性能管理、故障管理、计费管理和安全管理:1)配置管理:配置管理是最重要和最基础的部分。它可以设置网络通讯设备的相关参数,从而管理被管设备,依据需求周期的或实时的获取设备信息和运行状态,检查和维护设备状态列表,生成数据表格,为管理员提供参考和接口以更改设备配置。2)性能管理:性能管理是评估系统网络的运行状态和稳定性,主要工作内容包括从被管理对象获取与网络性能相关数据,对这些数据进行统计和分析,建立模型以预测变化趋势、评估故障风险,通过配置管理模块修改网络参数,以确保网络性能最优利用网络资源保证通信网络平稳运行。3)故障管理:故障管理的主要功能就是及时辨别出网络中出现的故障,找出故障原因,分析并处理故障。故障管理一般分为四个部分:(1)探测故障。通过被管设备主动向管理站发送故障信息或者管理站主动轮询被管设备两种方式发现故障源。(2)发出告警。管理站发现故障信息之后,会以短信、信号灯等方式提示管理员。(3)解决故障。对故障信息进行分析,明确其故障原因和类型,找到对应方法得以解决。(4)保存历史故障数据。对历史故障数据进行维护备份,为以后的故障提供一定依据,使得处理网络故障更为高效。4)计费管理:计费管理主要功能是为客户提供一个合理的收费依据,通过将客户的网络资源的使用情况进行统计,例如将客户消费流量计算成本从而向客户计费。5)安全管理:目的就是保证网络能够平稳安全的运行,可以避免或者抵御来自外界的恶意入侵,防止重要数据泄露,例如用户的个人隐私泄露问题等。根据网络管理系统的体系结构和ISO定义的基本功能,基于Web的网络管理系统基本模型如图基于Web的网络管理系统基本模型所示,整个模型包括六个组成部分:Web浏览器,Web服务器,管理服务集,管理信息库,网络管理协议,被管资源。 SNMP协议简单网络管理协议SNMP(Simple Network Management Protocol),既可以作为一种协议,也可以作为一套标准。事实上SNMP己经成为网络管理领域的工业标准,从提出至今共有八个版本,在实践中得到广泛应用的有三个版本,分别是SNMPv1, SNMPv2c和SNMPv3(唐明兵2017)。最初的SNMPv1主要是为了满足基于TCP/IP的网络管理而设计的,但是随着网络管理行业的迅猛发展,第一版本的SNMP协议已经不适应网络行业的发展,身份验证、批量数据传输问题等暴露导致SNMPv1难以支持日益庞大的网络设备。第二版本就演变成了一个运行于多种网络协议之上的网络管理协议,较第一版本有了长足的进步,不仅提供了更多操作类型,支持更多的数据类型而且提供了更加丰富的错误代码,能够更加细致的区分错误,另外支持的分布式管理在一定程度上大大减轻了服务器的压力。但是SNMPv2c依旧是明文传输密钥,其安全性有待提高。直到1998年正式推出SNMPv3,SNMPv3的进步主要体现在安全性能上,他引入USM和VACM技术,USM添加了用户名和组的概念,可以设置认证和加密功能,对NMS和Agent之间传输的报文进行加密,提升其安全性防止窃听。VACM确定用户是否允许特定的访问MIB对象以及访问方式。 SNMP管理模型与信息模型SNMP系统包括网络管理系统NMS(Network Management System)、代理进程Agent、被管对象Management object和管理信息库MIB(Management Informoation Base)四部分组成.管理模型图如图所示:1)NMS称为网络管理系统,作为网络管理过程当中的核心,NMS通过SNMP协议向网络设备发送报文,并由Agent去接收NMS发来的管理报文从而对设备进行统一管控。NMS可以主动向被管对象发送管理请求,也可以被动接受被管对象主动发出的Trap报文。2)Agent相当于网络管理过程中的中间件,是一种软件,用于处理被管理设备的运行数据并响应来自NMS的请求,并把结果返回给NMS。Agent接收到NMS请求后,通过查询MIB库完成对应操作,并把数据结果返回给NMS。Agent也可以作为网络管理过程中的中间件不仅可以使得信息从NMS响应到具体硬件设备上,当设备发生故障时,通过配置Trap开启相应端口,被管设备也可以通过Agent主动将事件发送到NMS,使得NMS及时发现故障。3)Management object指被管理对象。一个设备可能处在多个被管理对象之中,设备中的某个硬件以及硬件、软件上配置的参数集合都可以作为被管理对象。4)MIB是一个概念性数据库,可以理解为Agent维护的管理对象数据库,里面存放了被管设备的相关变量信息。MIB库定义了被管理设备的一系列属性:对象的名称、对象的状态、对象的访问权限和对象的数据类型等。通过读取MIB变量的值, Agent可以查询到被管设备的当前运行状态以及硬件信息等,进而达到监控网络设备的目的。Agent可以利用修改对应设备MIB中的变量值,设置被管设备状态参数来完成设备配置。SNMP的管理信息库是树形结构,其结构类型与DNS相似,具有根节点且不具有名字。在MIB功能中,每个设备都是作为一个oid树的某分支末端被管理。每个OID(object identifier,对象标识符)对应于oid树中的一个管理对象且具有唯一性。有了树形结构的特性,可以高效迅速地读取其中MIB中存储的管理信息及遍历树中节点,读取顺序从上至下。目前运用最为广泛的管理信息库是MIB-Ⅱ,它在MIB-Ⅰ的基础上做了扩充和改进。MIB-Ⅱ结构示意图如图如所示:(1)system组:作为MIB中的基本组,可以通过它来获取设备基本信息和设备系统信息等。(2)interfac组:定了有关接口的信息,例如接口状态、错误数据包等,在故障管理和性能管理当中时常用到。(3)address translation组:用于地址映射。(4)ip组:包含了有关ip的信息,例如网络编号,ip数据包数量等信息。(5)icmp组:包含了和icmp协议有关信息,例如icmp消息总数、icmp差错报文输入和输出数量。(6)tcp组:包含于tcp协议相关信息,例如tcp报文数量、重传时间、拥塞设置等。应用于网络拥塞和流量控制。(7)udp组:与udp协议相关,可以查询到udp报文数量,同时也保存了udp用户ip地址。(8)egp组:包含EGP协议相关信息,例如EGP协议下邻居表信息、自治系统数。(9)cmot组:为CMOT协议保留(10)transmission组:为传输信息保留(11)snmp组:存储了SNMP运行与实现的信息,例如收发SNMP消息数据量。 SNMP通讯模型SNMP规定了5种协议基本数据单元PDU,用于管理进程与代理进程之间交换。(1)get-request操作:管理进程请求数据。(2)get-next-request操作:在当前操作MIB变量的基础上从代理进程处读取下一个参数的值。(3)set-request操作:用于对网络设备进行设置操作。(4)get-response操作:在上面三种操作成功返回后,对管理进程进行数据返回。这个操作是由代理进程返回给管理进程。(5)trap操作:SNMP代理以异步的方式主动向SNMP管理站发送Trap数据包。一般用于故障告警和特定事件发生。SNMP消息报文包含两个部分:SNMP报头和协议数据单元PDU。根据TCP/IP模型SNMP是基于UDP的应用层协议,而UDP又是基于IP协议的。因此可以得到完整的SNMP报文示意图如下:(1)版本号表示SNMP版本,其中版本字段的大小是版本号减1,如果SNMPv2则显示的字段值是1。(2)团体名(community)本质上是一个字符串,作为明文密钥在管理进程和代理进程之间用于加密传输的消息,一般默认设置成“public”。 (3)请求标识符(request ID)用于消息识别。由管理进程发送消息时自带一个整数值,当代理进程返回消息时带上该标识符。管理进程可以通过该标识符识别出是哪一个代理进程返回的数据从而找到对应请求的报文。(4)差错状态(error status)表示出现错误时由代理进程返回时填入差错状态符0~5中的某一数字,数字对应相关错误信息。差错状态描述符如下表:(5)差错索引(error index)表示在通信过程当中出现上表的差错时,代理进程在应答请求时设置一个整数,整数大小对应差错变量在变量列表中偏移大小。(6)变量名-值对以key-value的方式存储变量名称和对应值。(7)trap报文是代理进程主动向管理进程发送的报文,不必等待管理进程下一次轮询。SNMPv2的trap报文格式较SNMPv1的trap报文格式更趋近于普通的SNMP响应报文,更加统一化。以SNMPv2为例的trap报文格式如下:trap类型已定义的特定trap共有7种,后面的则是由供养商自己定制。Trap类型如下表所示: SNMP组织模型SNMP代理组织分成分散式和集中式模型。在分散模型中,每一个服务器对应一个SNMP代理,可以理解为一一对应的关系,管理站分别与每个被管服务器上的代理进行通信。集中模型当中,在管理服务器上只创建一个SNMP代理。管理站只与管理管理服务器上的SNMP代理进行通信, SNMP代理接收来自某一固定区域的所有数据。如图所示: Vue为实现前后端分离开发的理念,Vue应运而生。作为构建用户界面框架的简单易上手使得前端开发人员不必再编写复杂的DOM操作通过this来回寻找相关节点,很大程度上提高了开发的效率。通过MVVM框架,可以自动完成视图同步数据更新,在对实例new Vue(data:data)进行声明后data中数据将与之相应的视图绑定,一旦data中的数据发生变更,视图中对应数据也会发生相应改变。基于MVVM框架实现了视图与数据一致性,MVVM框架可以分为三个部分:Model、ViewModel、View。MVVM框架模式:的理念是“一切皆为组件”,可以说组件是的最强大功能。组件可以扩展HTML元素,将HTML、CSS、JavaScript封装成可重用的代码组件,可以应用在不同的场景,大大提高效率。它与传统的JavaScript相比,采用虚拟DOM渲染页面。当有数据发生变更时,生成虚拟DOM结构与实际页面结构对比,重新渲染差离部分,进一步提供了页面性能。 EchartsEcharts(Enterprise Charts),它是由百度公司研发的纯JavaScript图表库,可以流畅的运行在PC和移动设备上。ECharts兼容当前主流浏览器,底层依赖轻量级Canvas库ZRender,Echarts提供直观、生动、交互性强、高度自定义化的可视化图标。ECharts包含了以下特性:1)丰富的可视化类型:既有柱状图、折线图、饼图等常规图,也有可用于地理数据可视化的热力图、线图等,还有多维数据可视化的平行坐标。2)支持多种数据格式共存:在版本中内置的dataset属性支持直接传入包括二维表中。3)多维数据的支持:可以传入多维度数据。4)移动端优化:特别针对移动端可视化进行了一定程度优化,可以使用手指在坐标系中进行缩放、平移。5)动态类型切换:支持不同类型图形随意切换,既可以用柱形图也可以用折线图展示统一数据,可以从不同角度展现数据。6)时间轴:对数据进行可视化的同时,可以分为周期或者定时进行展示,所有利用时间轴可以很好的动态观察数据的变化。目前常见的故障诊断方法基于专家系统的故障诊断方法专家系统是目前最常使用的诊断方法。通俗来讲,专家系统就是模拟人类专家去解决现实中某一特定领域的复杂问题。专家系统接收用户界面数据,将数据传递到推理引擎进行推理,做出决策并执行。专家系统作为人工智能的前身,从上世纪60年代开始到现在专家系统的应用已经产生了巨大的经济效益和社会效益,灵活可靠、极高的专业水平和良好的有效机制使得专家系统已经成为最受欢迎、最活跃的领域之一。基于模糊理论的故障诊断方法在实际的工业生产过程当中,设备的“故障”状态与“正常”状态之间并没有严格的界限,它们之间存在一定的模糊过渡状态,并且在特征获取、故障判定过程中都中存在一定的模糊性。 因此,该方法不需要建立精确的数学分析模型,本质上是一个模式识别问题。 根据建议的症状参数,得出系统状态。 通常选择“择近原则”和“最大隶属原则”作为基本诊断原理(尤海鑫,2012)。基于免疫算法的故障诊断方法通过模拟自然生物免疫系统的功能,即快速识别外来生物和外来生物,最后通过自我排斥将异物排出体外。生物免疫系统还建立了一套算法来测试各种条件,主要是在线检测,通过不合格的自我和外部组织消除系统来实现故障识别的能力。免疫算法的故障诊断方法属于并行处理能力,可以进行很多复杂的操作和处理。同时可以与遗传算法等其他智能优化算法结合使用,以增强自适应能力和自学习能力。从公开的文献中,学者们并不热衷于这种原理的方法。一般来说,在故障诊断领域,目前人工免疫理论的研究尚处于萌芽阶段。基于神经网络的故障诊断方法神经网络是由大量简单的神经节点组成的复杂网络,以网络拓扑分布的方式存储信息,利用网络拓扑分布和权重实现对实际问题的非线性映射调整,并运用使用全局并行处理的方式,实现从输入空间到输出空间的非线性映射。该方法属于典型的模型诊断模式,不需要了解内部诊断过程,而是使用隐式方法完全表达知识。在获取知识时,它将自动生成由已知知识和连接节点的权重构成的网络的拓扑结构,并将这些问题完全连接到互连的网络中,有利于知识的自动发现和获取。并行关联推理和验证提供了便利的途径;神经网络通过神经元之间的交互来实现推理机制。

基于MATLAB的数字识别计算机与信息工程学院 本科生毕业论文 基于BP神经网络的手写数字识别算法的设计与实现 班 级: 13汉班 学 号: 姓 名: 江晓雪 指导教师: 李艳玲 2017 年 3 月 31 日 毕 业 论 文 目 录 1 绪论1 图像识别的提出1 图像识别的现状与发展趋势1 2 BP神经网络的概述2 3 手写体数字识别的实现过程4 整体线路图4 算法流程5 图像预处理10 结果分析10 4 结论11 参考文献12 全文共 13 页 4834 字 基于BP神经网络的手写数字识别算法的设计与实现 计算机与信息工程学院 2013级汉班 江晓雪 指导教师 李艳玲 副教授 摘要 本文实现了基于MATLAB关于神经网络的手写数字识别算法的设计过程,采用神经网络中反向传播神经网络(即BP神经网络)对手写数字的识别,由MATLAB对图片进行读入、灰度化以及二值化等处理,通过神经网络进行训练和测试。实验证明:该神经网络对手写数字的识别可以达到。 关键词 手写数字识别;BP神经网络;MATLAB语言 1 绪论 图像识别的提出 图像识别在信息技术发达的今天已经占据了很重要的地位,在我们实际生活中也有很多应用。所谓的图像识别,就是指通过计算机对图像进行相应的处理、分析,来达到识别不同模型的目标和任务的一种技术。对于它的提出,简单的来说,它的发展经历了三个阶段:第一个是文字识别 、第二个是数字图像处理与识别、第三个是物体识别。第一种相对来说比较简单,它的研究是从1950年开始的,一般情况是识别字母、符号和数字,无论是印刷体识别还是手写体识别,它的应用都非常广泛,但是也伴随着,这个识别的过程会更加的耗时、费力,无论是人力还是物力,都会有很大的损失;第二种就是我们所说的数字图像处理与识别,在图片的识别过程中,图片识别会有一定的误差,也会带来小小的麻烦;第三就是物体识别,而物体的识别主要指的是:在三维世界中,对于个体、环境的感知和认识进行识别,这不同于二维世界的认知,相对来说是更高级的计算机图像识别,它是以二维世界中对数字图像和模拟图像处理的办法为依据,进行更高一级的,并且结合了现代人工智能技术等学科的研究目标,研究成果已经被广泛的应用在各种工业探测机器人上,为人们的安全提供了很大的帮助。 图像识别的现状与发展趋势 随着网络的发达、电子的信息化,图像识别的应用已经非常广泛,而主要的研究工作也包括各行各业,整理以下几点对其应用的广泛度进行说明: ⒈在生物学中,对生物的原型进行研究。从生物的脑细胞结构、物体解剖等其他科学研究的方向对生物的体系结构、神经结构、神经细胞组织等生物的原型结构及其功能机理进行研究,增强对生物学更加全面的理解。 ⒉在实际应用中,建立我们需要的理论模型。根据需要应用的信息在生物学中的应用,建立需要的生物原型,也可以建立类似神经元、神经网络这样不可见的理论模型,以便可以让其更加有效的应用在生活中。建立我们生活中不能直观表现的事物模型,以便我们可以更方便的、更直观的理解事物的本质。 ⒊在信息时代中,建立网络模型以及算法研究。就是通过上面所说的,建立相应的理论模型,在这个基础上加以理解,建立我们所需要的网络模型,实现计算机应用,主要应用在网络学习算法的研究,这方面的研究工作也被人们称为技术模型研究。 ⒋信息时代的发展,让我们在生活中有很多的应用,例如:完成某种函数图像的绘制以及对其变化的形式进行分析、对图片信号的处理、模式识别等功能,建立需要的应用系统、制造机器人等等。 通过上面的说明,也就是说从开始根据生物学原理的应用,直到建立需要的神经网络模型,最后应用到图像识别当中,可以看出其模型的建立是在生活中实例的基础上,其可靠性和准确性是显而易见的,这样就大大的增加了可信度,与此同时,也减少了工作中不必要的麻烦与困扰。而在网络信息发达的今天,人类在基本粒子、宇宙空间、生命起源等科学领域方面都已经显现出很高的兴趣度,而这其中难免会有图像提取后的处理工作,所以图像识别的应用就会越来越广泛。 2 BP神经网络的概述 反向传播(Back-Propagation,BP)学习算法简称BP算法,采用BP算法的前馈型神经网络简称BP网络。BP网络是多层感知器的一种,它具备多层感知器的特点,同时也有自己的特点。多层感知器包括输入层、隐藏层、输出层,其中隐藏层可以有多个,而我们BP网络中隐藏层只有一个,其简单构造如图所示: 图1 多层感知器结构图 而我们用到的BP网络中的具体信号流如图所示,它有一个反向传播的过程,这也是对传播进行调整,使精确度更高的一种办法。如图所示,其中有两种信号流通: 图2 多层感知器的信号流 第一:函数信号 简单来说就是信号进入输入层,然后通过隐藏层到达输入层,通过输出层输出所得值,就可以完成一个函数信号。 第二:误差信号 误差信号就是在逆向的传播的过程中传输的信号。其中,有两个重要参数。一个是函数信号即sigmoid函数,还有一个就是权值的梯度运算即梯度向量。(注:sigmoid函数、权重的修正函数,如图所示。) (1) (2) 通过对两个参数的调整,完成整个算法的应用。 3 手写体数字识别的实现过程 整体线路图 整体流程图如图3所示: 图像测试 损失函数的设计与应用 可视化测试数据 神经网络的设计与训练 sigmoid函数 图3 整体流程图 部分文件调用流程图如图4所示: sigmoid checkNNGradients nnCostFunction 第八部分:实现正规化 第八部分:训练NN fmincg nnCostFunction sigmoidGradient sigmoid nnCostFunction sigmoidGradient randInitializeWeights checkNNGradients debugInitializeWeights nnCostFunction computeNumericalGradient 第五部分:sigmoid函数 第六部分:初始化参数 第七部分:实现反向传播 第三部分:前馈网络 第四部分:前馈正规化 图4 整体流程图 算法流程

卷积神经网络论文

Abstract

我们训练了一个大型的深度卷积神经网络,将ImageNet lsvprc -2010竞赛中的120万幅高分辨率图像分类为1000个不同的类。在测试数据上,我们实现了top-1和top-5的错误率,分别为和,这与前的最高水平相比有了很大的提高。该神经网络有6000万个参数和65万个神经元,由5个卷积层(其中一些后面接了最大池化层)和3个全连接层(最后的1000路softmax)组成。为了使训练更快,我们使用了非饱和神经元和一个非常高效的GPU实现卷积运算。为了减少全连通层的过拟合,我们采用了一种最近发展起来的正则化方法——dropout,结果显示它非常有效。我们还在ILSVRC-2012比赛中输入了该模型的一个变体,并获得了的top-5测试错误率,而第二名获得了的错误率.

1 Introduction

当前的物体识别方法主要利用机器学习方法。为了提高它们的性能,我们可以收集更大的数据集,学习更强大的模型,并使用更好的技术来防止过度拟合。直到最近,标记图像的数据集在成千上万的图像(例如,NORB [16], Caltech-101/256 [8,9], CIFAR-10/100[12])中相对较小。使用这种大小的数据集可以很好地解决简单的识别任务,特别是如果使用保存标签的转换来扩展它们。例如,MNIST数字识别任务的当前最佳错误率(<)接近人类性能[4]。但是现实环境中的物体表现出相当大的可变性,所以为了学会识别它们,有必要使用更大的训练集。的确,小图像数据集的缺点已经被广泛认识(例如,Pinto等人的[21]),但直到最近才有可能收集数百万张图像的标记数据集。新的更大的数据集包括LabelMe[23],它由成千上万的全分段图像组成,和ImageNet[6],它由超过22000个类别的超过1500万标记的高分辨率图像组成。

要从数百万张图像中了解数千个物体,我们需要一个具有巨大学习能力的模型。 然而,对象识别任务的巨大复杂性意味着即使像ImageNet这样大的数据集也无法指定这个问题,因此我们的模型也应该具有大量的先验知识来补偿我们没有的所有数据。卷积神经网络(Convolutional neural networks, CNNs)就是这样一类模型[16,11,13,18,15,22,26]。它们的能力可以通过改变深度和宽度来控制,而且它们还对图像的性质(即统计的平稳性和像素依赖的局部性)做出了强有力且最正确的假设。 因此,与具有相似大小层的标准前馈神经网络相比,CNNs具有更少的连接和参数,因此更容易训练,而其理论上最好的性能可能只会稍微差一些。

尽管CNNs的质量很吸引人,尽管它们的本地架构相对高效,但在高分辨率图像上大规模应用仍然非常昂贵。幸运的是,当前的gpu与高度优化的2D卷积实现相结合,已经足够强大,可以方便地训练有趣的大型CNNs,而最近的数据集(如ImageNet)包含了足够多的标记示例,可以在不严重过拟合的情况下训练此类模型。

本文的具体贡献如下:

最后,网络的大小主要受到当前gpu上可用内存的大小和我们愿意忍受的训练时间的大小的限制。我们的网络需要5到6天的时间来训练两个GTX 580 3GB GPU。我们所有的实验都表明,只要等待更快的gpu和更大的数据集可用,我们的结果就可以得到改善。

2 The Dataset

ImageNet是一个包含超过1500万张高分辨率图像的数据集,属于大约22000个类别。这些图片是从网上收集来的,并由人工贴标签者使用亚马逊的土耳其机械众包工具进行标记。从2010年开始,作为Pascal视觉对象挑战赛的一部分,每年都会举办一场名为ImageNet大型视觉识别挑战赛(ILSVRC)的比赛。ILSVRC使用ImageNet的一个子集,每个类别大约有1000张图片。总共大约有120万张训练图像、5万张验证图像和15万张测试图像。

ILSVRC-2010 是唯一可用测试集标签的 ILSVRC 版本,因此这是我们进行大多数实验的版本。由于我们也在 ILSVRC-2012 竞赛中加入了我们的模型,在第6节中,我们也报告了我们在这个版本的数据集上的结果,对于这个版本的数据集,测试集标签是不可用的。在 ImageNet 上,通常报告两个错误率:top-1 和 top-5,其中 top-5 错误率是测试图像的一部分,其中正确的标签不在模型认为最可能的五个标签中。

ImageNet由可变分辨率的图像组成,而我们的系统需要一个恒定的输入维数。 因此,我们将图像降采样到256 * 256的固定分辨率。给定一个矩形图像,我们首先重新调整图像的大小,使其短边长度为256,然后从结果图像中裁剪出中心的256%256块。除了从每个像素中减去训练集上的平均活动外,我们没有以任何其他方式对图像进行预处理。因此,我们将网络训练成像素的原始RGB值(居中)。

3 The Architecture

ReLU Nonlinearity

Training on Multiple GPUs

Local Response Normalization

Overlapping Pooling

Pooling layers in CNNs summarize the outputs of neighboring groups of neurons in the same kernel map. Traditionally, the neighborhoods summarized by adjacent pooling units do not overlap (.,[17, 11, 4]). To be more precise, a pooling layer can be thought of as consisting of a grid of pooling units spaced s pixels apart, each summarizing a neighborhood of size z z centered at the location of the pooling unit. If we set s = z, we obtain traditional local pooling as commonly employed in CNNs. If we set s < z, we obtain overlapping pooling. This is what we use throughout our network, with s = 2 and z = 3. This scheme reduces the top-1 and top-5 error rates by and , respectively, as compared with the non-overlapping scheme s = 2; z = 2, which produces output of equivalent dimensions. We generally observe during training that models with overlapping pooling find it slightly more difficult to overfit.

Overall Architecture

Now we are ready to describe the overall architecture of our CNN. As depicted in Figure 2, the net contains eight layers with weights; the first five are convolutional and the remaining three are fully-connected. The output of the last fully-connected layer is fed to a 1000-way softmax which produces a distribution over the 1000 class labels. Our network maximizes the multinomial logistic regression objective, which is equivalent to maximizing the average across training cases of the log-probability of the correct label under the prediction distribution.

4 Reducing Overfitting

Data Augmentation

Dropout

结合许多不同模型的预测是减少测试错误的一种非常成功的方法[1,3],但是对于已经需要几天训练的大型神经网络来说,这似乎太昂贵了。然而,有一个非常有效的模型组合版本,它在训练期间只花费大约2倍的成本。最近介绍的技术称为dropout[10],它将每个隐藏神经元的输出设置为0,概率为。以这种方式丢弃的神经元不参与正向传递,也不参与反向传播。所以每次输入时,神经网络都会对不同的结构进行采样,但是所有这些结构都共享权重。这种技术减少了神经元之间复杂的相互适应,因为神经元不能依赖于特定的其他神经元的存在。因此,它被迫学习与其他神经元的许多不同随机子集结合使用的更健壮的特征。在测试时,我们使用所有的神经元,但将它们的输出乘以,这是一个合理的近似值,近似于取由指数型多退出网络产生的预测分布的几何平均值。

我们在图2的前两个完全连接的层中使用了dropout。没有dropout,我们的网络显示出大量的过拟合。Dropout使收敛所需的迭代次数增加了一倍。

5 Details of learning

7 Discussion

应用计算机视觉时要面临的一个挑战是数据的输入可能会非常大。例如一张 1000x1000x3 的图片,神经网络输入层的维度将高达三百万,使得网络权重 W 非常庞大。这样会造成两个后果:

神经网络结构复杂,数据量相对较少,容易出现过拟合; 所需内存和计算量巨大。 因此,一般的神经网络很难处理蕴含着大量数据的图像。解决这一问题的方法就是使用卷积神经网络

我们之前提到过,神经网络由浅层到深层,分别可以检测出图片的边缘特征、局部特征(例如眼睛、鼻子等),到最后面的一层就可以根据前面检测的特征来识别整体面部轮廓。这些工作都是依托卷积神经网络来实现的。

卷积运算(Convolutional Operation)是卷积神经网络最基本的组成部分。我们以边缘检测为例,来解释卷积是怎样运算的。

图片最常做的边缘检测有两类:垂直边缘(Vertical Edges)检测和水平边缘(Horizontal Edges)检测。

比如检测一张6x6像素的灰度图片的vertical edge,设计一个3x3的矩阵(称之为filter或kernel),让原始图片和filter矩阵做卷积运算(convolution),得到一个4x4的图片。 具体的做法是,将filter矩阵贴到原始矩阵上(从左到右从上到下),依次可以贴出4x4种情况。 让原始矩阵与filter重合的部分做element wise的乘积运算再求和 ,所得的值作为4x4矩阵对应元素的值。如下图是第一个元素的计算方法,以此类推。

可以看到,卷积运算的求解过程是从左到右,由上到下,每次在原始图片矩阵中取与滤波器同等大小的一部分,每一部分中的值与滤波器中的值对应相乘后求和,将结果组成一个矩阵。

下图对应一个垂直边缘检测的例子:

如果将最右边的矩阵当作图像,那么中间一段亮一些的区域对应最左边的图像中间的垂直边缘。

下图3x3滤波器,通常称为垂直 索伯滤波器 (Sobel filter):

看看用它来处理知名的Lena照片会得到什么:

现在可以解释卷积操作的用处了:用输出图像中更亮的像素表示原始图像中存在的边缘。

你能看出为什么边缘检测图像可能比原始图像更有用吗?

回想一下MNIST手写数字分类问题。在MNIST上训练的CNN可以找到某个特定的数字。比如发现数字1,可以通过使用边缘检测发现图像上两个突出的垂直边缘。

通常,卷积有助于我们找到特定的局部图像特征(如边缘),用在后面的网络中。

假设输入图片的大小为 n×n,而滤波器的大小为 f×f,则卷积后的输出图片大小为 (n−f+1)×(n−f+1)。

这样就有两个问题:

为了解决这些问题,可以在进行卷积操作前,对原始图片在边界上进行填充(Padding),以增加矩阵的大小。通常将 0 作为填充值。

设每个方向扩展像素点数量为 p,则填充后原始图片的大小为 (n+2p)×(n+2p),滤波器大小保持 f×f不变,则输出图片大小为 (n+2p−f+1)×(n+2p−f+1)。

因此,在进行卷积运算时,我们有两种选择:

在计算机视觉领域,f通常为奇数。原因包括 Same 卷积中 p=(f−1)/ 2 能得到自然数结果,并且滤波器有一个便于表示其所在位置的中心点。

卷积过程中,有时需要通过填充来避免信息损失,有时也需要通过设置 步长(Stride) 来压缩一部分信息。

步长表示滤波器在原始图片的水平方向和垂直方向上每次移动的距离。之前,步长被默认为 1。而如果我们设置步长为 2,则卷积过程如下图所示:

设步长为 s,填充长度为p, 输入图片大小为n x n, 滤波器大小为f x f, 则卷积后图片的尺寸为:

注意公式中有一个向下取整的符号,用于处理商不为整数的情况。向下取整反映着当取原始矩阵的图示蓝框完全包括在图像内部时,才对它进行运算。

如果我们想要对三通道的 RGB 图片进行卷积运算,那么其对应的滤波器组也同样是三通道的。过程是将每个单通道(R,G,B)与对应的滤波器进行卷积运算求和,然后再将三个通道的和相加,将 27 个乘积的和作为输出图片的一个像素值。

如果想同时检测垂直和水平边缘,或者更多的边缘检测,可以增加更多的滤波器组。例如设置第一个滤波器组实现垂直边缘检测,第二个滤波器组实现水平边缘检测。设输入图片的尺寸为 n×n×nc(nc为通道数),滤波器尺寸为 f×f×nc,则卷积后的输出图片尺寸为 (n−f+1)×(n−f+1)×n′c,n′c为滤波器组的个数。

与之前的卷积过程相比较,卷积神经网络的单层结构多了激活函数和偏移量;而与标准神经网络相比,滤波器的数值对应着权重 W[l],卷积运算对应着 W[l]与 A[l−1]的乘积运算,所选的激活函数变为 ReLU。

对于一个 3x3x3 的滤波器,包括偏移量 b(27+1)在内共有 28 个参数。不论输入的图片有多大,用这一个滤波器来提取特征时,参数始终都是 28 个,固定不变。即选定滤波器组后,参数的数目与输入图片的尺寸无关。因此,卷积神经网络的参数相较于标准神经网络来说要少得多。这是 CNN 的优点之一。

图像中的相邻像素倾向于具有相似的值,因此通常卷积层相邻的输出像素也具有相似的值。这意味着,卷积层输出中包含的大部分信息都是冗余的。如果我们使用边缘检测滤波器并在某个位置找到强边缘,那么我们也可能会在距离这个像素1个偏移的位置找到相对较强的边缘。但是它们都一样是边缘,我们并没有找到任何新东西。池化层解决了这个问题。这个网络层所做的就是通过减小输入的大小降低输出值的数量。池化一般通过简单的最大值、最小值或平均值操作完成。以下是池大小为2的最大池层的示例:

在计算神经网络的层数时,通常只统计具有权重和参数的层,因此池化层通常和之前的卷积层共同计为一层。

图中的 FC3 和 FC4 为全连接层,与标准的神经网络结构一致。

个人推荐 一个直观感受卷积神经网络的网站 。

相比标准神经网络,对于大量的输入数据,卷积过程有效地减少了 CNN 的参数数量,原因有以下两点:

-参数共享(Parameter sharing):特征检测如果适用于图片的某个区域,那么它也可能适用于图片的其他区域。即在卷积过程中,不管输入有多大,一个特征探测器(滤波器)就能对整个输入的某一特征进行探测。

-稀疏连接(Sparsity of connections):在每一层中,由于滤波器的尺寸限制,输入和输出之间的连接是稀疏的,每个输出值只取决于输入在局部的一小部分值。

池化过程则在卷积后很好地聚合了特征,通过降维来减少运算量。

由于 CNN 参数数量较小,所需的训练样本就相对较少,因此在一定程度上不容易发生过拟合现象。并且 CNN 比较擅长捕捉区域位置偏移。即进行物体检测时,不太受物体在图片中位置的影响,增加检测的准确性和系统的健壮性。

在神经网络可以收敛的前提下,随着网络深度增加,网络的表现先是逐渐增加至饱和,然后迅速下降

需要注意,网络退化问题不是过拟合导致的,即便在模型训练过程中,同样的训练轮次下,退化的网络也比稍浅层的网络的训练错误更高,如下图所示。

这一点并不符合常理:如果存在某个 K层网络是当前F的最优的网络,我们构造更深的网络。那么K之后的层数可以拟合成恒等映射,就可以取得和F一直的结果。如果K不是最佳层数,那么我们比K深,可以训练出的一定会不差于K的。总而言之,与浅层网络相比,更深的网络的表现不应该更差。因此,一个合理的猜测就是, 对神经网络来说,恒等映射并不容易拟合。

也许我们可以对网络单元进行一定的改造,来改善退化问题?这也就引出了残差网络的基本思路

既然神经网络不容易拟合一个恒等映射,那么一种思路就是构造天然的恒等映射。

实验表明,残差网络 很好地解决了深度神经网络的退化问题 ,并在ImageNet和CIFAR-10等图像任务上取得了非常好的结果,同等层数的前提下残差网络也 收敛得更快 。这使得前馈神经网络可以采用更深的设计。除此之外, 去除个别神经网络层,残差网络的表现不会受到显著影响 ,这与传统的前馈神经网络大相径庭。

2018年的一篇论文,The Shattered Gradients Problem: If resnets are the answer, then what is the question,指出了一个新的观点,尽管残差网络提出是为了解决梯度弥散和网络退化的问题, 它解决的实际上是梯度破碎问题

作者通过可视化的小型实验(构建和训练一个神经网络发现,在浅层神经网络中,梯度呈现为棕色噪声(brown noise),深层神经网络的梯度呈现为白噪声。在标准前馈神经网络中,随着深度增加, 神经元梯度的相关性(corelation)按指数级减少 (1 / 2^L) ;同时, 梯度的空间结构也随着深度增加被逐渐消除 。这也就是梯度破碎现象。

梯度破碎为什么是一个问题呢?这是因为许多优化方法假设梯度在相邻点上是相似的,破碎的梯度会大大减小这类优化方法的有效性。另外,如果梯度表现得像白噪声,那么某个神经元对网络输出的影响将会很不稳定。

相较标准前馈网络, 残差网络中梯度相关性减少的速度从指数级下降到亚线性级 ) (1 / sqrt(L)) ,深度残差网络中,神经元梯度介于棕色噪声与白噪声之间(参见上图中的c,d,e);残差连接可以 极大地保留梯度的空间结构 。残差结构缓解了梯度破碎问题。

1x1 卷积指滤波器的尺寸为 1。当通道数为 1 时,1x1 卷积意味着卷积操作等同于乘积操作。 而当通道数更多时,1x1 卷积的作用实际上类似全连接层的神经网络结构,从而降低(或升高,取决于滤波器组数)数据的维度。

池化能压缩数据的高度(nH)及宽度(nW),而 1×1 卷积能压缩数据的通道数(nC)。在如下图所示的例子中,用 filters个大小为 1×1×32 的滤波器进行卷积,就能使原先数据包含的 32个通道压缩为 filters 个。

在这之前,网络大都是这样子的:

也就是卷积层和池化层的顺序连接。这样的话,要想提高精度,增加网络深度和宽度是一个有效途径,但也面临着参数量过多、过拟合等问题。(当然,改改超参数也可以提高性能)

有没有可能在同一层就可以提取不同(稀疏或不稀疏)的特征呢(使用不同尺寸的卷积核)?于是,2014年,在其他人都还在一味的增加网络深度时(比如vgg),GoogleNet就率先提出了卷积核的并行合并(也称Bottleneck Layer),如下图。

和卷积层、池化层顺序连接的结构(如VGG网络)相比,这样的结构主要有以下改进:

按照这样的结构来增加网络的深度,虽然可以提升性能,但是还面临计算量大(参数多)的问题。为改善这种现象,GooLeNet借鉴Network-in-Network的思想,使用1x1的卷积核实现降维操作(也间接增加了网络的深度),以此来减小网络的参数量(这里就不对两种结构的参数量进行定量比较了),如图所示。

最后实现的inception v1网络是上图结构的顺序连接

由于卷积这门课的其他内容和计算机视觉关系比较密切。对我理解推荐系统帮助不大。所以这个系列就到这里。吴恩达的课还是很好的,作业和课和测验我都认真做啦。

这两天在公司做PM实习,主要是自学一些CV的知识,以了解产品在解决一些在图像识别、图像搜索方面的问题,学习的主要方式是在知网检索了篇国内近3年计算机视觉和物体识别的硕博士论文。由于时间关系,后面还会继续更新图片相似度计算(以图搜图)等方面的学习成果    将这两天的学习成果在这里总结一下。你将会看到计算机视觉在解决特定物体识别问题(主要是卷积神经网络CNNs)的基础过程和原理,但这里不会深入到技术的实现层面。

计算机视觉(Computer vision)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图像处理,用计算机处理成为更适合人眼观察或传送给仪器检测的图像。                                          ————维基百科   通常而言,计算机视觉的研究包括三个层次: (1)底层特征的研究:   这一层次的研究主要聚焦如何高效提取出图像对象具有判别性能的特征,具体的研究内容通常包括:物体识别、字符识别等 (2)中层语义特征的研究:    该层次的研究在于在识别出对象的基础上,对其位置、边缘等信息能够准确区分。现在比较热门的:图像分割;语义分割;场景标注等,都属于该领域的范畴 (3)高层语义理解:   这一层次建立在前两层的基础上,其核心在于“理解”一词。 目标在于对复杂图像中的各个对象完成语义级别的理解。这一层次的研究常常应用于:场景识别、图像摘要生成及图像语义回答等。   而我研究的问题主要隶属于底层特征和中层语义特征研究中的物体识别和场景标注问题。

人类的视觉工作模式是这样的:    首先,我们大脑中的神经元接收到大量的信息微粒,但我们的大脑还并不能处理它们。    于是接着神经元与神经元之间交互将大量的微粒信息整合成一条又一条的线。    接着,无数条线又整合成一个个轮廓。    最后多个轮廓累加终于聚合我们现在眼前看到的样子。   计算机科学受到神经科学的启发,也采用了类似的工作方式。具体而言,图像识别问题一般都遵循下面几个流程

(1)获取底层信息。获取充分且清洁的高质量数据往往是图像识别工作能否成功的关键所在   (2)数据预处理工作,在图像识别领域主要包括四个方面的技术:去噪处理(提升信噪比)、图像增强和图像修复(主要针对不够清晰或有破损缺失的图像);归一化处理(一方面是为了减少开销、提高算法的性能,另一方面则是为了能成功使用深度学习等算法,这类算法必须使用归一化数据)。   (3)特征提取,这一点是该领域的核心,也是本文的核心。图像识别的基础是能够提取出足够高质量,能体现图像独特性和区分度的特征。   过去在10年代之前我们主要还是更多的使用传统的人工特征提取方法,如PCA\LCA等来提取一些人工设计的特征,主要的方法有(HOG、LBP以及十分著名的SIFT算法)。但是这些方法普遍存在(a)一般基于图像的一些提层特征信息(如色彩、纹理等)难以表达复杂的图像高层语义,故泛化能力普遍比较弱。(b)这些方法一般都针对特定领域的特定应用设计,泛化能力和迁移的能力大多比较弱。   另外一种思路是使用BP方法,但是毕竟BP方法是一个全连接的神经网络。这以为这我们非常容易发生过拟合问题(每个元素都要负责底层的所有参数),另外也不能根据样本对训练过程进行优化,实在是费时又费力。   因此,一些研究者开始尝试把诸如神经网络、深度学习等方法运用到特征提取的过程中,以十几年前深度学习方法在业界最重要的比赛ImageNet中第一次战胜了SIFT算法为分界线,由于其使用权重共享和特征降采样,充分利用了数据的特征。几乎每次比赛的冠军和主流都被深度学习算法及其各自改进型所占领。其中,目前使用较多又最为主流的是CNN算法,在第四部分主要也研究CNN方法的机理。

上图是一个简易的神经网络,只有一层隐含层,而且是全连接的(如图,上一层的每个节点都要对下一层的每个节点负责。)具体神经元与神经元的作用过程可见下图。

在诸多传统的神经网络中,BP算法可能是性能最好、应用最广泛的算法之一了。其核心思想是:导入训练样本、计算期望值和实际值之间的差值,不断地调整权重,使得误差减少的规定值的范围内。其具体过程如下图:

一般来说,机器学习又分成浅层学习和深度学习。传统的机器学习算法,如SVM、贝叶斯、神经网络等都属于浅层模型,其特点是只有一个隐含层。逻辑简单易懂、但是其存在理论上缺乏深度、训练时间较长、参数很大程度上依赖经验和运气等问题。   如果是有多个隐含层的多层神经网络(一般定义为大于5层),那么我们将把这个模型称为深度学习,其往往也和分层训练配套使用。这也是目前AI最火的领域之一了。如果是浅层模型的问题在于对一个复杂函数的表示能力不够,特别是在复杂问题分类情况上容易出现分类不足的弊端,深度网络的优势则在于其多层的架构可以分层表示逻辑,这样就可以用简单的方法表示出复杂的问题,一个简单的例子是:   如果我们想计算sin(cos(log(exp(x)))),   那么深度学习则可分层表示为exp(x)—>log(x)—>cos(x)—>sin(x)

图像识别问题是物体识别的一个子问题,其鲁棒性往往是解决该类问题一个非常重要的指标,该指标是指分类结果对于传入数据中的一些转化和扭曲具有保持不变的特性。这些转化和扭曲具体主要包括了: (1)噪音(2)尺度变化(3)旋转(4)光线变化(5)位移

该部分具体的内容,想要快速理解原理的话推荐看[知乎相关文章] ( ),   特别是其中有些高赞回答中都有很多动图和动画,非常有助于理解。   但核心而言,CNN的核心优势在于 共享权重 以及 感受野 ,减少了网络的参数,实现了更快的训练速度和同样预测结果下更少的训练样本,而且相对于人工方法,一般使用深度学习实现的CNN算法使用无监督学习,其也不需要手工提取特征。

CNN算法的过程给我的感觉,个人很像一个“擦玻璃”的过程。其技术主要包括了三个特性:局部感知、权重共享和池化。

CNN中的神经元主要分成了两种: (a)用于特征提取的S元,它们一起组成了卷积层,用于对于图片中的每一个特征首先局部感知。其又包含很关键的阈值参数(控制输出对输入的反映敏感度)和感受野参数(决定了从输入层中提取多大的空间进行输入,可以简单理解为擦玻璃的抹布有多大) (b)抗形变的C元,它们一起组成了池化层,也被称为欠采样或下采样。主要用于特征降维,压缩数据和参数的数量,减小过拟合,同时提高模型的容错性。 (c*)激活函数,及卷积层输出的结果要经过一次激励函数才会映射到池化层中,主要的激活函数有Sigmoid函数、Tanh函数、ReLU、Leaky ReLU、ELU、Maxout等。

也许你会抱有疑问,CNN算法和传统的BP算法等究竟有什么区别呢。这就会引出区域感受野的概念。在前面我们提到,一个全连接中,较高一层的每个神经元要对低层的每一个神经元负责,从而导致了过拟合和维度灾难的问题。但是有了区域感受野和,每个神经元只需要记录一个小区域,而高层会把这些信息综合起来,从而解决了全连接的问题。

了解区域感受野后,你也许会想,区域感受野的底层神经元具体是怎么聚合信息映射到上一层的神经元呢,这就要提到重要的卷积核的概念。这个过程非常像上面曾提到的“神经元与神经元的联系”一图,下面给大家一个很直观的理解。

上面的这个过程就被称为一个卷积核。在实际应用中,单特征不足以被系统学习分类,因此我们往往会使用多个滤波器,每个滤波器对应1个卷积核,也对应了一个不同的特征。比如:我们现在有一个人脸识别应用,我们使用一个卷积核提取出眼睛的特征,然后使用另一个卷积核提取出鼻子的特征,再用一个卷积核提取出嘴巴的特征,最后高层把这些信息聚合起来,就形成了分辨一个人与另一个人不同的判断特征。

现在我们已经有了区域感受野,也已经了解了卷积核的概念。但你会发现在实际应用中还是有问题:   给一个100 100的参数空间,假设我们的感受野大小是10 10,那么一共有squar(1000-10+1)个,即10的六次方个感受野。每个感受野中就有100个参数特征,及时每个感受野只对应一个卷积核,那么空间内也会有10的八次方个次数,,更何况我们常常使用很多个卷积核。巨大的参数要求我们还需要进一步减少权重参数,这就引出了权重共享的概念。    用一句话概括就是,对同一个特征图,每个感受野的卷积核是一样的,如这样操作后上例只需要100个参数。

池化是CNN技术的最后一个特性,其基本思想是: 一块区域有用的图像特征,在另一块相似的区域中很可能仍然有用。即我们通过卷积得到了大量的边缘EDGE数据,但往往相邻的边缘具有相似的特性,就好像我们已经得到了一个强边缘,再拥有大量相似的次边缘特征其实是没有太大增量价值的,因为这样会使得系统里充斥大量冗余信息消耗计算资源。 具体而言,池化层把语义上相似的特征合并起来,通过池化操作减少卷积层输出的特征向量,减少了参数,缓解了过拟合问题。常见的池化操作主要包括3种: 分别是最大值池化(保留了图像的纹理特征)、均值池化(保留了图像的整体特征)和随机值池化。该技术的弊端是容易过快减小数据尺寸,目前趋势是用其他方法代替池化的作用,比如胶囊网络推荐采用动态路由来代替传统池化方法,原因是池化会带来一定程度上表征的位移不变性,传统观点认为这是一个优势,但是胶囊网络的作者Hinton et al.认为图像中位置信息是应该保留的有价值信息,利用特别的聚类评分算法和动态路由的方式可以学习到更高级且灵活的表征,有望冲破目前卷积网络构架的瓶颈。

CNN总体来说是一种结构,其包含了多种网络模型结构,数目繁多的的网络模型结构决定了数据拟合能力和泛化能力的差异。其中的复杂性对用户的技术能力有较高的要求。此外,CNN仍然没有很好的解决过拟合问题和计算速度较慢的问题。

该部分的核心参考文献: 《深度学习在图像识别中的应用研究综述》郑远攀,李广阳,李晔.[J].计算机工程与应用,2019,55(12):20-36.   深度学习技术在计算机图像识别方面的领域应用研究是目前以及可预见的未来的主流趋势,在这里首先对深度学习的基本概念作一简介,其次对深度学习常用的结构模型进行概述说明,主要简述了深度信念网络(DBN)、卷积神经网络(CNN)、循环神经网络(RNN)、生成式对抗网络(GAN)、胶囊网络(CapsNet)以及对各个深度模型的改进模型做一对比分析。

深度学习按照学习架构可分为生成架构、判别架构及混合架构。 其生成架构模型主要包括:   受限波尔兹曼机、自编码器、深层信念网络等。判别架构模型主要包括:深层前馈网络、卷积神经网络等。混合架构模型则是这两种架构的集合。深度学习按数据是否具有标签可分为非监督学习与监督学习。非监督学习方法主要包括:受限玻尔兹曼机、自动编码器、深层信念网络、深层玻尔兹曼机等。   监督学习方法主要包括:深层感知器、深层前馈网络、卷积神经网络、深层堆叠网络、循环神经网络等。大量实验研究表明,监督学习与非监督学习之间无明确的界限,如:深度信念网络在训练过程中既用到监督学习方法又涉及非监督学习方法。

[1]周彬. 多视图视觉检测关键技术及其应用研究[D].浙江大学,2019. [2]郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36. [3]逄淑超. 深度学习在计算机视觉领域的若干关键技术研究[D].吉林大学,2017. [4]段萌. 基于卷积神经网络的图像识别方法研究[D].郑州大学,2017. [5]李彦冬. 基于卷积神经网络的计算机视觉关键技术研究[D].电子科技大学,2017. [6]李卫. 深度学习在图像识别中的研究及应用[D].武汉理工大学,2014. [7]许可. 卷积神经网络在图像识别上的应用的研究[D].浙江大学,2012. [8]CSDN、知乎、机器之心、维基百科

神经网络为题目的论文

你不翻译了???

论文:论文地址: 论文题目:《Session-based Recommendation with Graph Neural Networks》SR-GNN github: 基于会话的推荐一般是将序列会话建模,将整个session进行编码,变成一个隐向量,然后利用这个隐向量进行下一个点击预测。但是这种方法没有考虑到item直接复杂的转换(transitions)关系,也就是item之间在点击的session中除了时间顺序外还有复杂的有向图内的节点指向关系,所以之前的方法不足以很好的对点击序列进行建模。 现有基于会话的推荐,方法主要集中于循环神经网络和马尔可夫链,论文提出了现有方法的两个缺点: 1)当一个session中用户的行为数量十分有限时,这些方法难以获取准确的用户行为表示。如当使用RNN模型时,用户行为的表示即最后一个单元的输出,论文认为只有这样并非十分准确。 2)根据先前的工作发现,物品之间的转移模式在会话推荐中是十分重要的特征,但RNN和马尔可夫过程只对相邻的两个物品的 单向转移关系 进行建模,而忽略了会话中其他的物品。 为了克服上述缺陷,本文提出了用图神经网络对方法对用户对session进行建模:下面具体介绍怎么进行图序列推荐 V = {v1,v2...vm}为全部的item,S = { }为一个session里面按时间顺序的点击物品,论文的目标是预测用户下一个要点击的物品vs,n+1,模型的任务是输出所有item的预测概率,并选择top-k进行推荐。 我们为每一个Session构建一个子图,并获得它对应的出度和入度矩阵。 假设一个点击序列是v1->v2->v4->v3,那么它得到的子图如下图中红色部分所示:另一个例子,一个点击序列是v1->v2->v3->v2->v4,那么它得到的子图如下:同时,我们会为每一个子图构建一个出度和入度矩阵,并对出度和入度矩阵的每一行进行归一化,如我们序列v1->v2->v3->v2->v4对应的矩阵如下:这个矩阵里面的值是怎么计算的呢?下面讲一下: 看左边的出度矩阵,第一行为 0 1 0 0 ,代表着v1->v2,因为v1,只有一个指向的item,所以为1;看第二行,0 0 1/2 1/2,因为v2有指向v3和v4的边,所以进行归一化后每一个值都变成了1/2。入度矩阵的计算方法也是一样的,就不再说了。 本文采用的是GRU单元进行序列建模,将图信息嵌入到神经网络中,让GRU充分学习到item之间的关系,传统的GRU只能学到相邻的两个物品之间的关系,加入图信息后就能学到整个session子图的信息。 计算公式如下:为了刚好的理解这个计算过程,我们还是使用之前那个例子:v1->v2->v3->v2->v4来一步步分析输入到输出的过程。 (1) 是t时刻,会话s中第i个点击对应的输入, 是n✖️2n的矩阵,也就是会话子图的完整矩阵,而 是其中一行,即物品vi所对应的那行,大小为1✖️2n,n代表序列中不同物品的数量。 如果按照例子来看,如果i取2,那么 为 [0 0 1/2 1/2 1/2 0 1/2 0] 进一步的,可以把 :拆解为[ , ] (2) 可以理解为序列中第i个物品,在训练过程中对应的嵌入向量,这个向量随着模型的训练不断变化,可以理解为隐藏层的状态,是一个d维向量。    (3)  H是d*2d的权重向量,也可以看作是一个分块的矩阵,可以理解为H=[Hin|Hout],每一块都是d*d的向量。 那么我们来看看计算过程: 1)[ ..., ] ,结果是d * n的矩阵,转置之后是n*d的矩阵,计作 2) : H相当于[   ],即拆开之后相乘再拼接,因此结果是一个1 * 2d的向量。 上面就是完整的第i个点击的输入的计算过程,可以看到,在进入GRU计算之前,通过跟As,i矩阵相乘,把图信息嵌入到了神经网络中取,加深了神经网络学习到的item之间的交互信息。 此外,就是GRU的计算过程了,跟原始的GRU不一样的地方在于输入从xt变成了嵌入了图信息的as,i。 通样也有更新门和重置门,计算方法跟原始GRU一模一样。 这里的 其实就是相当于原始gru中的 ,只不过在SR-GNN里面,进行一轮运算的时候i是没有变化,相当于每个物品单独进去GRU进行计算,得到自己的向量,也就是说在GRU的计算过程中, 是不断变化的,看一下源码更易于理解: hidden就是公式里面的 ,在gru的每一个step计算中都会进行更新,这里我有个疑问,如果所有item的hidden都更新的话,那么应该是整个序列中所有的item并行进入GRU中进行计算,每一个step都得到自己的vector,当每个item的vector更新后,下一个step就重新根据新的 计算 ,接着计算下一个step。 计算过程大概就是下面这样:这里有四个GRU并行计算,没次更新自己的hidden状态,输入则考虑所有的hidden和图信息。 从上面的图看来,每一个item都要进行T个step得到自己的item-vec,所以经过T个step后,我们就得到了序列中所有item的向量,即:图中用蓝色框框画出来的向量,有了这些向量后,我们怎么得到预测结果呢?这就引入了下一个问题。 观察上面的模型结构,我们看到attention,没错,我们认为一个session中的这些item-vec并不都对预测结果产生影响,有些item对结果影响很大,有些影响很小,所以我们进行了加权求和。同时,论文认为session对最后一个item-vec,s1=vn是重要的,所以单独拿出来:公式(6)就是简单的attention操作,其实从公式上来看就是计算每个vi跟最后一个向量vn的权值,然后进行加权求和。 在最后的输出层,使用sh和每个物品的embedding进行内积计算,这里vi应该是item的embedding层出来的向量,而不是后面一直更新的hidden:最后通过一个softmax得到最终每个物品的点击概率: 损失函数为交叉熵损失函数:从数据上来看,SR-GNN超过了经典的GRU4REC,这也说明了图信息的嵌入能带来更好的推荐效果。 本论文很巧妙的将图信息嵌入的神经网络中,更高地让GRU学习到每个item之间的关系,不再局限于相邻的物品之间进行学习。近年来,图神经网络的思想和方法屡屡被用在推荐系统中,学好图神经网络应该是推荐系统的下一个热潮。

随着科学技术的发展,人工神经网络技术得到了空前的发展,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料,欢迎阅读!

人工神经网络的发展及应用

摘要随着科学技术的发展,人工神经网络技术得到了空前的发展,并且在诸多领域得到了广泛的应用,为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段,是人工智能的重要组成部分,并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾,并对其在各个领域的应用情况进行探讨。

关键词人工神经网络;发展;应用

随着科学技术的发展,各个行业和领域都在进行人工智能化的研究工作,已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支,对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今,经历了不同的发展阶段,并且在经济、生物、医学等领域得到了广泛的应用,解决了许多技术上的难题。

1人工神经网络概述

关于人工神经网络,到目前为止还没有一个得到广泛认可的统一定义,综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性,其具有很强的并行结构以及并行处理的能力,在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性,对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力,因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强,能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟,而且近年来在硬件方面也得到了较大发展,提高了人工神经网络系统的信息处理能力。

2人工神经网络的发展历程

萌芽时期

在20世纪40年代,生物学家McCulloch与数学家Pitts共同发表文章,第一次提出了关于神经元的模型M-P模型,这一理论的提出为神经网络模型的研究和开发奠定了基础,在此基础上人工神经网络研究逐渐展开。1951年,心理学家Hebb提出了关于连接权数值强化的法则,为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流,为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后,出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型,提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。

低谷时期

在人工神经网络形成的初期,人们只是热衷于对它的研究,却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究,在1969年对之前所取得的研究成果提出了质疑,认为当前研究出的神经网络只合适处理比较简单的线性问题,对于非线性问题以及多层网络问题却无法解决。由于他们的质疑,使神经网络的发展进入了低谷时期,但是在这一时期,专家和学者也并没有停止对神经网络的研究,针对他们的质疑也得出一些相应的研究成果。

复兴时期

美国的物理学家Hopfield在1982年提出了新的神经网络模型,并通过实验证明在满足一定的条件时,神经网络是能够达到稳定的状态的。通过他的研究和带动,众多专家学者又重新开始了对人工神经网络方面的研究,推动了神经网络的再一次发展[3]。经过专家学者的不断努力,提出了各种不同的人工神经网络的模型,神经网络理论研究不断深化,新的理论和方法层出不穷,使神经网络的研究和应用进入了一个崭新的时期。

稳步发展时期

随着人工神经网络研究在世界范围内的再次兴起,我国也迎来了相关理论研究的热潮,在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时,国内对于神经网络领域的研究得到了进一步的完善和发展,而且能够利用神经网络对非线性的系统控制问题进行解决,研究成果显著。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开,我国人工神经网络的研究和应用条件逐步改善,得到了国际的关注。

随着人工神经网络的稳步发展,逐渐建立了光学神经网络系统,利用光学的强大功能,提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题,采取有效措施,提高超平面的光滑性,对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法,虽然保证了精度,但也加大了消耗,在一定程度上降低了神经网络的效率,因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步,提高了神经网络的泛化能力。

3人工神经网络的应用

在信息领域中的应用

人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展,当代信息处理工作越来越复杂,利用人工神经网络系统可以对人的思维进行模仿甚至是替代,面对问题自动诊断和解决,能够轻松解决许多传统方法无法解决的问题,在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析,对事物进行辨别和解释的一个过程,这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种,一种是统计模式识别,还有一种是结构模式识别,在语音识别和指纹识别等方面得到了广泛的应用。

在医学领域的应用

人工神经网络对于非线性问题处理十分有效,而人体的构成和疾病形成的原因十分复杂,具有不可预测性,在生物信号的表现形式和变化规律上也很难掌握,信息检测和分析等诸多方面都存在着复杂的非线性联系,所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前,在医学领域中的应用涉及到理论和临床的各个方面,最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。

在经济领域中的应用

经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测,人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理,与传统的经济统计方法相比具有其无法比拟的优势,数据分析的稳定性和可靠性更强。

在其他领域的应用

人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用,能够对高难度的非线性问题进行处理,对交通运输方面进行集成式的管理,以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题,促进了各个领域的快速发展。

4总结

随着科技的发展,人工智能系统将进入更加高级的发展阶段,人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代,但是其特有的非线性信息处理能力解决了许多人工无法解决的问题,在智能系统的各个领域中得到成功应用,今后的发展趋势将向着更加智能和集成的方向发展。

参考文献

[1]徐用懋,冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展,1993(5):8-12,20.

[2]汤素丽,罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用,2009(10):59-61.

[3]李会玲,柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报,2009(5):44-46.

[4]过效杰,祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利,2004(1):22-23.

[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学,2006.

下一页分享更优秀的<<<人工智能神经网络论文

相关百科

热门百科

首页
发表服务