人类大脑与电脑
英国科学家艾伦·图灵1937年发表著名的《论应用于解决问题的可计算数字》一文。文中提出思考原理计算机——图灵机的概念，推进了计算机理论的发展。1945年图灵到英国国家物理研究所工作，并开始设计自动计算机。1950年，图灵发表题为《计算机能思考吗？》的论文，设计了著名的图灵测验，通过问答来测试计算机是否具有同人类相等的智力。
图灵提出了一种抽象计算模型，用来精确定义可计算函数。图灵机由一个控制器、一条可无限伸延的带子和一个在带子上左右移动的读写头组成。这个在概念上如此简单的机器，理论上却可以计算任何直观可计算的函数。图灵机作为计算机的理论模型，在有关计算机和计算复杂性的研究方面得到广泛应用。
计算机是人类制造出来的信息加工工具。如果说人类制造的其他工具是人类双手的延伸，那么计算机作为代替人脑进行信息加工的工具，则可以说是人类大脑的延伸。最初真正制造出来的计算机是用来解决数值计算问题的。二次大战后期，当时为军事目的进行的一系列破译密码和弹道计算工作，越来越复杂。大量的数据、复杂的计算公式，即使使用电动机械计算器也要耗费相当的人力和时间。在这种背景下，人们开始研制电子计算机。
世界上第一台计算机“科洛萨斯”诞生于英国，“科洛萨斯”计算机是1943年3月开始研制的，当时研制“科洛萨斯”计算机的主要目的是破译经德国“洛伦茨”加密机加密过的密码。使用其他手段破译这种密码需要6至8个星期，而使用‘科洛萨斯’计算机则仅需6至8小时。1944年1月10日，“科洛萨斯”计算机开始运行。自它投入使用后，德军大量高级军事机密很快被破译，盟军如虎添翼。“科洛萨斯”比美国的ENIAC计算机问世早两年多，在二战期间破译了大量德军机密，战争结束后，它被秘密销毁了，故不为人所了解。
尽管第一台电子计算机诞生于英国，但英国没有抓住由计算机引发的技术和产业革命的机遇。相比之下，美国抓住了这一历史机遇，鼓励发展计算机技术和产业，从而崛起了一大批计算机产业巨头，大大促进了美国综合国力的发展。1944年美国国防部门组织了有莫奇利和埃克脱领导的ENIAC计算机的研究小组，当时在普林斯顿大学工作的现代计算机的奠基者美籍匈牙利数学家冯·诺依曼也参加了者像研究工作。1946年研究工作获得成功，制成了世界上第一台电子数字计算机ENIAC。这台用18000只电子管组成的计算机，尽管体积庞大，耗电量惊人，功能有限，但是确实起了节约人力节省时间的作用，而且开辟了一个计算机科学技术的新纪元。这也许连制造它的科学家们也是始料不及的。
最早的计算机尽管功能有限，和现代计算机有很大的差别，但是它已具备了现代计算机的基本部分，那就是运算器、控制器和存储器。
运算器就象算盘，用来进行数值运算和逻辑运算，并获得计算结果。而控制器就象机算机的司令部，指挥着计算机各个部分的工作，它的指挥是靠发出一系列控制信号完成的。
计算机的程序、数据、以及在运算中产生的中间结果以及最后结果都要有个存储的地方，这就是计算机的第三个部件——存储器。
计算机是自动进行计算的，自动计算的根据就是存储于计算机中的程序。现代的计算机都是存储程序计算机，又叫冯·诺依曼机，这是因为存储程序的概念是冯·诺依曼提出的。人们按照要解决的问题的数学描述，用计算机能接受的“语言”编制成程序，输入并存储于计算机，计算机就能按人的意图，自动地高速地完成运算并输出结果。程序要为计算机提供要运算的数据、运算的顺序、进行何种运算等等。
微电子技术的产生使计算机的发展又有了新的机遇，它使计算机小型化成为可能。微电子技术的发展可以追溯到晶体管的出现。1947年美国电报电话公司的贝尔实验室的三位学家巴丁、不赖顿和肖克莱制成第一支晶体管，开始了以晶体管代替电子管的时代。
晶体管的出现可以说是集成电路出台的序幕。晶体管出现后，一些科学家发现，把电路元器件和连线像制造晶体管那样做在一块硅片上可实现电路的小型化。于是，晶体管制造工业经过10年的发展后，1958年出现了第一块集成电路。
微电子技术的发展，集成电路的出现，首先引起了计算机技术的巨大变革。现代计算机多把运算器和控制器做在一起，叫微处理器，由于计算机的心脏——微处理器（计算机芯片）的集成化，使微型计算机应运尔生，并在70－80年代间得到迅速发展，特别是IBM PC个人计算机出现以后，打开了计算机普及的大门，促进了计算机在各行各业的应用，五六十年代，价格昂贵、体积庞大、耗电量惊人的计算机，只能在少数大型军事或科研设施中应用，今天由于采用了大规模集成电路，计算机已经进入普通的办公室和家庭。
标志集成电路水平的指标之一是集成度，即在一定尺寸的芯片上能做出多少个晶体管，从集成电路出现到今天，仅40余年，发展的速度却是惊人的，芯片越做越小，这对生产、生活的影响也是深远的。ENIAC计算机占地150平方米，重达30吨，耗电量几百瓦，其所完成的计算，今天高级一点的袖珍计算器皆可完成。这就是微电子技术和集成电路所创造的奇迹。
现状与前景
美国科学家最近指出，经过30多年的发展，计算机芯片的微型化已接近极限。计算机技术的进一步发展只能寄希望于全新的技术，如新材料、新的晶体管设计方法和分子层次的计算技术。
过去30多年来，半导体工业的发展基本上遵循穆尔法则，即安装在硅芯片上的晶体管数目每隔18个月就翻一番。芯片体积越来越小，包含的晶体管数目越来越多，蚀刻线宽越来越小；计算机的性能也因而越来越高，同时价格越来越低。但有人提出，这种发展趋势最多只能再持续10到15年的时间。
美国最大的芯片生产厂商英特尔公司的科学家保罗·A·帕坎最近在美国《科学》杂志上撰文说，穆尔法则（1965年提出的预测半导体能力将以几何速度增长的法则）也许在未来10年里就会遇到不可逾越的障碍：芯片的微型化已接近极限。人们尚未找到超越该极限的方法，一些科学家将其称之为“半导体产业面临的最大挑战”。
目前最先进的超大规模集成电路芯片制造技术所能达到的最小线宽约为0.18微米，即一根头发的5％那样宽。晶体管里的绝缘层只有4到5个原子那样厚。日本将于2000年初开始批量生产线宽只有0. 13微米的芯片。预计这种芯片将在未来两年得到广泛应用。下一步是推出线宽0. 1微米的的芯片。帕坎说，在这样小的尺寸上，晶体管只能由不到100个原子构成。
芯片线宽小到一定程度后，线路与线路之间就会因靠得太近而容易互相干扰。而如果通过线路的电流微弱到只有几十个甚至几个电子，信号的背景噪声将大到不可忍受。尺寸进一步缩小，量子效应就会起作用，使传统的计算机理论完全失效。在这种情况下，科学家必须使用全新的材料、设计方法乃至运算理论，使半导体业和计算机业突破传统理论的极限，另辟蹊径寻求出路。
当前计算机发展的主流是什么呢？国内外比较一致的看法是
RISC
RISC是精简指令系统计算机（Reduced Instruction Set Computer）的英文缩写。所谓指令系统计算机所能执行的操作命令的集合。程序最终要变成指令的序列，计算机能执行。计算机都有自己的指令系统，对于本机指令系统的指令，计算机能识别并执行，识别就是进行译码——把代表操作的二进制码变成操作所对应的控制信号，从而进行指令要求的操作。一般讲，计算机的指令系统约丰富，它的功能也约强。RISC系统将指令系统精简，使系统简单，目的在于减少指令的执行时间，提高计算机的处理速度。传统的计算机一般都是每次取一条指令，而RISC系统采用多发射结构，在同一时间发射多条指令，当然这必须增加芯片上的执行部件。
并行处理技术
并行处理技术也是提高计算机处理速度的重要方向，传统的计算机，一般只有一个中央处理器，中央处理器中执行的也只是一个程序，程序的执行是一条接一条地顺序进行，通过处理器反映程序的数据也是一个接一个的一串，所以叫串行执行指令。并行处理技术可在同一时间内多个处理器中执行多个相关的或独立的程序。目前并行处理系统分两种：一种具有4个、8个甚至32个处理器集合在一起的并行处理系统，或称多处理机系统；另一种是将100个以上的处理器集合在一起，组成大规模处理系统。这两种系统不仅是处理器数量多少之分，其内部互连方式、存储器连接方式、操作系统支持以及应用领域都有很大的不同。
曾经有一段时间，超级计算机是利用与普通计算机不同的材料制造的。最早的克雷1号计算机是利用安装在镀铜的液冷式电路板上的奇形怪状的芯片、通过手工方式制造的。而克雷2号计算机看起来更加奇怪，它在一个盛有液态碳氟化合物的浴器中翻腾着气泡———采用的是“人造血液”冷却。并行计算技术改变了所有这一切。现在，世界上速度最快的计算机是美国的“Asci Red”， 这台计算机的运算速度为每秒钟2·1万亿次，它就是利用与个人计算机和工作站相同的元件制造的，只不过超级计算机采用的元件较多而已，内部配置了9000块标准奔腾芯片。鉴于目前的技术潮流，有一点是千真万确的，那就是超级计算机与其它计算机的差别正在开始模糊。
至少在近期，这一趋势很明显将会继续下去。那么，哪些即将到来的技术有可能会扰乱计算技术的格局，从而引发下一次超级计算技术革命呢？
这样的技术至少有三种：光子计算机、生物计算机和量子计算机。它们能够成为现实的可能性都很小，但是由于它们具有引发革命的潜力，因此是值得进行研究的。
光子计算机
光子计算机可能是这三种新技术中最接近传统的一种。几十年来，这种技术已经得到了有限的应用，尤其是在军用信号处理方面。
在光子计算技术中，光能够像电一样传送信息，甚至传送效果更好，，光束在把信息从一地传送至另一地的效果要优于电，这也就是电话公司利用光缆进行远距离通信的缘故。光对通信十分有用的原因，在于它不会与周围环境发生相互影响，这是它与电不同的一点。两束光线可以神不知鬼不觉地互相穿透。光在长距离内传输要比电子信号快约100倍，光器件的能耗非常低。预计，光子计算机的运算速度可能比今天的超级计算机快1000到10000倍。
令人遗憾的是，正是这种极端的独立性使得人们难以制造出一种全光子计算机，因为计算处理需要利用相互之间的影响。要想制造真正的光子计算机，就必须开发出光学晶体管，这样就可以用一条光束来开关另一条光束了。这样的装置已经存在，但是要制造具有适合的性能特征的光学晶体管，还需要仰仗材料科学领域的重大突破。
生物计算机
与光子计算技术相比，大规模生物计算技术实现起来更为困难，不过其潜力也更大。不妨设想一种大小像柚子，能够进行实时图像处理、语音识别及逻辑推理的超级计算机。这样的计算机已经存在：它们就是人脑。自本世纪70年代以来，人们开始研究生物计算机（也叫分子计算机），随着生物技术的稳步发展，我们将开始了解并操纵制造大脑的基因学机制。
生物计算机将具有比电子计算机和光学计算机更优异的性能。如果技术进步继续保持目前的速度，可以想像在一二十年之后，超级计算机将大量涌现。这听起来也许像科幻小说，但是实际上已经出现了这方面的实验。例如，硅片上长出排列特殊的神经元的“生物芯片”已被生产出来。
在另外一些实验室里，研究人员已经利用有关的数据对DNA的单链进行了编码，从而使这些单链能够在烧瓶中实施运算。这些生物计算实验离实用还很遥远，然而1958年时我们对集成电路的看法也不过如此。
量子计算机
量子力学是第三种有潜力创造超级计算革命的技术。这一概念比光子计算或生物计算的概念出现得晚，但是却具有更大的革命潜力。由于量子计算机利用了量子力学违反直觉的法则，它们的潜在运算速度将大大快于电子计算机。事实上，它们速度的提高差不多是没有止境的。一台具有5000个左右量子位的量子计算机可以在大约3 0秒内解决传统超级计算机需要100亿年才能解决的素数问题。
眼下恰好有一项重要的用途适合这种貌似深奥的作业。通过对代表数据的代码进行加密，计算机数据得到保护。而解密的数学“钥匙”是以十分巨大的数字——一般长达250位——及其素数因子的形式出现的。这样的加密被认为是无法破译的，因为没有一台传统计算机能够在适当的时间里计算出如此巨大数字的素数因子。但是，至少在理论上，量子计算机可以轻易地处理这些素数加密方案。因此，量子计算机黑客将不仅能够轻而易举地获得常常出没于各种计算机网络（包括因特网）中的信用卡号码及其他个人信息，而且能够轻易获取政府及军方机密。这也正是某些奉行“宁为人先、莫落人后”这一原则的政府机构一直在投入巨资进行量子计算机研究的原因。
量子超级网络引擎
量子计算机将不大可能破坏因特网的完整性，不仅如此，它们到头来还可能给因特网带来巨大的好处。两年前，贝尔实验室的研究人员洛夫·格罗弗发现了用量子计算机处理我们许多人的一种日常事务的方法———搜寻隐藏在浩如烟海的庞大数据库内的某项信息。寻找数据库中的信息就像是在公文包里找东西一样。如果各不相同的量子位状态组合分别检索数据库不同的部分，那么其中的一种状态组合将会遭遇到所需查找的信息。
由于某些技术的限制，量子搜索所能带来的速度提高并没有预计的那么大，例如，如果要在1亿个地址中搜索某个地址，传统计算机需要进行大约5000万次尝试才能找到该地址；而量子计算机则需大约1万次尝试，不过这已经是很大的改善了，如果数据库增大的话，改善将会更大。此外，数据库搜索是一种十分基础的计算机任务，任何的改善都很可能对大批的应用产生影响。
迄今为止，很少有研究人员愿意预言量子计算机是否将会得到更为广泛的应用。尽管如此，总的趋势一直是喜人的。尽管许多物理学家————如果不是全部的话———一开始曾认为量子力学扑朔迷离的本性必定会消除实用量子计算技术面临的难以捉摸而又根深蒂固的障碍，但已经进行的深刻而广泛的理论研究却尚未能造就一台实实在在的机器。
那么，量子计算机的研究热潮到底意味着什么？计算技术的历史表明，总是先有硬件和软件的突破，然后才出现需要由它们解决的问题。或许，到我们需要检索那些用普通计算机耗时数月才能查完的庞大数据库时，量子计算机才将会真正开始投入运行。研究将能取代电子计算机的技术并非易事。毕竟，采用标准微处理器技术的并行计算机每隔几年都会有长足的进步。因此，任何要想取代它的技术必须极其出色。不过，计算技术领域的进步始终是十分迅速的，并且充满了意想不到的事情。对未来的预测从来都是靠不住的，事后看来，那些断言“此事不可行”的说法，才是最最愚蠢的。
除了超级计算机外，未来计算机还会在哪些方面进行发展呢？
多媒体技术
多媒体技术是进一步拓宽计算机应用领域的新兴技术。它是把文字、数据、图形、图像和声音等信息媒体作为一个集成体有计算机来处理，把计算机带入了一个声、文、图集成的应用领域。多媒体必须要有显示器、键盘、鼠标、操纵杆、视频录象带／盘、摄象机、输入／输出、电讯传送等多种外部设备。多媒体系统把计算机、家用电器、通信设备组成一个整体由计算机统一控制和管理。多媒体系统将对人类社会产生巨大的影响。
网络
当前的计算机系统多是连成网络的计算机系统。所谓网络，是指在地理上分散布置的多台独立计算机通过通信线路互连构成的系统。根据联网区域的大小，计算机网络可分成居域网和远程网。小至一个工厂的各个车间和办公室，大到跨洲隔洋都可构成计算机网。因特网将发展成为人类社会中一股看不见的强大力量－－它悄无声息地向人们传递各种信息，以最快、最先进的手段方便人类的工作和生活。现在的因特网发展有将世界变成“地球村”的趋势。
专家认为PC机不会马上消失，而同时单功能或有限功能的终端设备（如手执电脑、智能电话）将挑战PC机作为计算机革新动力的地位。把因特网的接入和电子邮件的功能与有限的计算功能结合起来的“置顶式”计算机如网络电视将会很快流行开来。单功能的终端最终会变得更易应用
智能化计算机
我们对大脑的认识还很肤浅，但是使计算机智能化的工作绝不能等到人们对大脑有足够认识以后才开始。使计算机更聪明，从开始就是人们不断追求的目标。目前用计算机进行的辅助设计、翻译、检索、绘图、写作、下棋、机械作业等方面的发展，已经向计算机的智能化迈进了一步。随着计算机性能的不断提高，人工智能技术在徘徊了50年之后终于找到了露脸的机会，世界头号国际象棋大师卡斯帕罗夫向“深蓝”的俯首称臣，让人脑第一次尝到了在电脑面前失败的滋味。人类从来没有像今天这样深感忧惧，也从来没有像今天这样强烈地感受到认识自身的需要。
目前的计算机，多数是冯·诺依曼型计算机，它在认字、识图、听话及形象思维方面的功能特别差。为了使计算机更加人工智能化，科学家开始使计算机模拟人类大脑的功能，近年来，各先进国家注意开展人工神经网络的研究，向计算机的智能化迈出了重要的一步。
人工神经网络的特点和优越性，主要表现在三个方面：具有自学功能。六如实现图象识别时，只要线把许多不同的图象样板和对应的应识别的结果输入人工神经网络，网络就会通过自学功能，漫漫学会识别类似的图像。自学功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供同经济预测、市场预测、效益预测、其前途是很远大的。
具有联想储存功能。人的大脑是具有两厢功能的。如果有人和你提起你幼年的同学张某某。，你就会联想起张某某的许多事情。用人工神经网络的反馈网络就可以实现这种联想。
具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
人工神经网络是未来为电子技术应用的新流域。智能计算机的构成，可能就是作为主机的冯·诺依曼机与作为智能外围的人工神经网络的结合。
人们普遍认为智能计算机将像穆尔定律（1965年提出的预测半导体能力将以几何速度增长的定律）的应验那样必然出现。提出这一定律的英特尔公司名誉董事长戈登·穆尔本人也同意这一看法，他认为：“硅智能将发展到很难将计算机和人区分开来的程度。”但是计算机智能不会到此为止。许多科学家断言，机器的智慧会迅速超过阿尔伯特·爱因斯坦和霍金的智慧之和。霍金认为，就像人类可以凭借其高超的捣弄数字的能力来设计计算机一样，智能机器将创造出性能更好的计算机。最迟到下个世纪中叶（而且很可能还要快得多），计算机的智能也许就会超出人类的理解能力。
什么是计算机语言
计算机语言的种类非常的多，总的来说可以分成机器语言，汇编语言，高级语言三大类。
电脑每做的一次动作，一个步骤，都是按照以经用计算机语言编好的程序来执行的，程序是计算机要执行的指令的集合，而程序全部都是用我们所掌握的语言来编写的。所以人们要控制计算机一定要通过计算机语言向计算机发出命令。
计算机所能识别的语言只有机器语言，即由0和1构成的代码。但通常人们编程时，不采用机器语言，因为它非常难于记忆和识别。
目前通用的编程语言有两种形式：汇编语言和高级语言。
汇编语言的实质和机器语言是相同的，都是直接对硬件操作，只不过指令采用了英文缩写的标识符，更容易识别和记忆。它同样需要编程者将每一步具体的操作用命令的形式写出来。汇编程序通常由三部分组成：指令、伪指令和宏指令。汇编程序的每一句指令只能对应实际操作过程中的一个很细微的动作，例如移动、自增，因此汇编源程序一般比较冗长、复杂、容易出错，而且使用汇编语言编程需要有更多的计算机专业知识，但汇编语言的优点也是显而易见的，用汇编语言所能完成的操作不是一般高级语言所能实现的，而且源程序经汇编生成的可执行文件不仅比较小，而且执行速度很快。
高级语言是目前绝大多数编程者的选择。和汇编语言相比，它不但将许多相关的机器指令合成为单条指令，并且去掉了与具体操作有关但与完成工作无关的细节，例如使用堆栈、寄存器等，这样就大大简化了程序中的指令。同时，由于省略了很多细节，编程者也就不需要有太多的专业知识。
高级语言主要是相对于汇编语言而言，它并不是特指某一种具体的语言，而是包括了很多编程语言，如目前流行的VB、VC、FoxPro、Delphi等，这些语言的语法、命令格式都各不相同。
高级语言所编制的程序不能直接被计算机识别，必须经过转换才能被执行，按转换方式可将它们分为两类:
解释类：执行方式类似于我们日常生活中的“同声翻译”，应用程序源代码一边由相应语言的解释器“翻译”成目标代码(机器语言)，一边执行，因此效率比较低，而且不能生成可独立执行的可执行文件，应用程序不能脱离其解释器，但这种方式比较灵活，可以动态地调整、修改应用程序。
编译类：编译是指在应用源程序执行之前，就将程序源代码“翻译”成目标代码(机器语言)，因此其目标程序可以脱离其语言环境独立执行，使用比较方便、效率较高。但应用程序一旦需要修改，必须先修改源代码，再重新编译生成新的目标文件(＊ .OBJ)才能执行，只有目标文件而没有源代码，修改很不方便。现在大多数的编程语言都是编译型的，例如Visual C＋＋、Visual Foxpro、Delphi等。
说起爱因斯坦，大家对他的评价都是天才、优秀科学家。然而正是因为异于常人的表现，让这位天才，在死后还不能安息，被人以科学的名义“窃取”大脑，拿来做研究。1955年4月18号，爱因斯坦死于大动脉爆裂，负责尸检的是一位病理学家Harvey哈维，在没有经过家属同意的情况下，他把爱因斯坦的大脑和眼球偷偷取出来了，理由是像爱因斯坦这样聪明的人不拿来做研究的话，就太可惜了。
这一消息很快被纽约时报报道，爱因斯坦的家人和粉丝知道后非常生气。引起了众怒的哈维不仅丢了工作，还跟妻子离了婚。最后，他带着大脑独自离去，离去前信誓旦旦的表示会公布研究结果。结果，40多年过去了，杳无音讯。
后来被记者找到时发现，他生活窘迫，对大脑的研究也一直没有进展。而爱因斯坦的大脑被切成了240小片，被包埋在火棉胶里，又浸泡在福尔马林中保存起来。截至到今天，关于爱因斯坦大脑研究的论文报道都是寥寥无几，有发现说，虽然爱因斯坦的大脑IQ高于常人，但他大脑的尺寸比其他成年男性的大脑的要小一点。
另一项发现是，他的大脑上负责数学和空间推理的顶叶比常人要大15%。但这些发现都不能解释，爱因斯坦为何是一位天才。随着时间的流逝，哈维取脑事件渐渐淡出了人们的视线。哈维也将剩余的大脑切片捐给了普林斯顿医院。至于爱因斯坦的眼球，曾经有传言说一位明星愿意出5百万美元（约合人民币3200万元）收购，哈维却否认有这件事。 事实的真相到底是怎样的，估计只有当事人知道了。
深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。
一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。
在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。
用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。
而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。
而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。
人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。
深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。
但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。
一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。
然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。
例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。
对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。
这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。
如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？
换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？
这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。
在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。
根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。
此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。
这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。
该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。
两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。
表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。
最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。
该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。
如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。
再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。
在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。
随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。
最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。
总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。
除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。
Refrence：
[1]
[2]
人工智能是一项前瞻性科学研究，已经成为ICT产业发展的突破口。以下是我整理的科技人工智能论文的相关 文章 ，欢迎阅读!
人工智能技术推动我国ICT产业发展模式探讨
【摘 要】人工智能是一项前瞻性科学研究，已经成为ICT产业发展的突破口。通过比较国内外ICT产业中人工智能技术研发现状， 总结 我国相关技术和产业的优劣势，有针对性的从国家政策层面和企业层面探讨人工智能技术在促进我国ICT产业发展的对策和建议。
【关键词】人工智能;政策引导;发展模式
0 引言
工信部在2010年工作会议上重点部署了战略性新兴产业的发展，信息和通信技术(Information and Communication Technology， ICT)产业排在首位。当前以智慧城市、智能家居、车联网等构成的物联网、移动互联网等应用为代表的新一代ICT产业不断创新，正在全球范围内掀起新一轮科技革命和产业变革，相关产业布局如图1所示。2013年前后欧美等国家和地区相继启动的人脑研究计划，促进人工智能、神经形态计算和机器人系统的发展。而人工智能就是机器模拟人脑的具体表现形式，以云计算、深度学习、智能搜索等一系列新技术在大规模联网上的应用，已经成为ICT产业进一步发展的重要方向[1-2]。面对人工智能在ICT产业上的迅猛发展，急需对我国在此方面的发展模式进行梳理。
1 国内外人工智能技术在ICT产业的发展现状
从发展脉络看，人工智能研究始终位于技术创新的高地，近年来成果斐然，在智能搜索、人工交互、可穿戴设备等领域得到了前所未有的重视，成为产业界力夺的前沿领域。目前国际ICT产业在人工智能技术上的发展重心涉及以下几个方面。
1.1 搜索引擎方向的发展
信息搜索是互联网流量的关键入口，也是实现信息资源与用户需求匹配的关键手段，人工智能的引入打开了搜索引擎发展的新空间。融合了深度学习技术的搜索引擎正大幅度提升图像搜索的准确率，同时吸纳了自然语言处理和云操作处理技术的搜索引擎，可将语音指令转化为实时搜索结果，另外人工智能搜索引擎可能添加意识情感元素，发展出真正意义上的神经心理学搜索引擎[3]。
从搜索引擎的发展上来看，国内企业起步稍晚，搜索领域较窄，但也有新浪、搜狐、百度、阿里巴巴、腾讯等公司等纷纷运用独特的技术与 商业模式 进行中国式的创新与超越，以及科大讯飞等企事业研究单位在部分方向已经具有了一定的基础，发展态势较好。
1.2 人脑科学助推人工智能技术发展
人工智能技术都是通过机器来模拟人脑进行复杂、高级运算的人脑研究活动。目前基于信息通信技术建立的研究平台，使用计算机模拟法来绘制详细的人脑模型，推动了人工智能、机器人和神经形态计算系统的发展，预计将引发人工智能由低级人脑模拟向高级人脑模拟的飞跃。
谷歌公司早就通过自主研发以及收购等方式来获取人工智能的必要技术，包括使用一万六千个处理器建立的模拟人脑神经系统的、具备学习功能的谷歌大脑。国内该方面的研究发展起步偏重于医学单位，在中华人类脑计划和神经信息学方面具有一定的科研成果，在某些领域达到了国际先进水平，但在新一轮全球人工智能竞赛中，中国至今处于观望和模仿阶段。直至2013年初，百度成立深度学习研究院，提出百度大脑计划，如图2所示，拥有了超越天河二号的超级计算能力，组建起世界上最大的拥有200亿个参数的深度神经网络。作为国内技术最领先的互联网公司，百度此次争得人工智能领域最顶尖的科学家，在硅谷布局人工智能研究，被视为与美国科技巨头直接展开了技术和人才竞争。
1.3 智能终端和可穿戴设备引起产业变革
移动终端通过嵌入人工智能技术破除了时空限制，促进了人机高频互动，穿戴式智能联网设备正在引领信息技术产品和信息化应用发展的新方向。
我国在智能终端和可穿戴设备芯片的研发方面，还处于探索的阶段，特别是大型芯片企业未进行有力的支持。目前只有君正发布了可穿戴的芯片，制造工艺与国际上还有一定的差距。应该说国内芯片现在还是处于刚刚起步阶段，相比市场对可穿戴设备概念的热捧，用户真正能体验到的可穿戴设备屈指可数，大多停留在概念阶段。
1.4 物联网部分领域发展
全球物联网应用在各国战略引领和市场推动下正在加速发展，所产生的新型信息化正在与传统领域深入融合。总的来看，在公共市场方面发展较快，其中智能电网、车联网、机器与机器通信(Machine-To-Machine， M2M)是近年来发展较为突出的应用领域[4]。
物联网涉及领域众多，各国均上升至国家战略层次积极推动物联网技术研发，我国也在主动推进物联网共性基础能力研究和建立自主技术标准。在射频识别(Radio Frequency Identification， RFID)、M2M、工业控制、标识解析等领域已经获得部分知识产权，其中中高频RFID技术接近国际先进水平，在超高频(800/900MHz)和微波(2.45GHz)RFID空中接口物理层和MAC层均有重要技术突破。在标准方面，已建立传感网标准体系的初步框架，其中多项标准提案已被国际标准化组织采纳。作为国际传感网标准化四大主导国(美国、德国、韩国、中国)之一，我国在制定国际标准时已享有重要话语权。
2 我国ICT产业的政策引导
目前ICT产业的应用范围在不断的延伸，政策的制定必须考虑跨行业的需要，加速产业链的分工、合作和成熟。我国ICT企业正紧跟变革、激励创新、发掘内需，再通过突破瓶颈的ICT政策必将迎来新的机遇和发展。
2.1 国家政策方面的引导
世界发达国家纷纷制定ICT产业发展计划，并将其作为战略性新兴产业的重要组成部分。我国急需在国家政策方面进行引导，试图抢占下一程竞争制高点。政策应呈现如下趋势，破除行业间壁垒，加快制定ICT跨行业标准和产业相关政策。
2.1.1 加强政策顶层设计
成立国家级ICT产业发展机构，尽快确立国家ICT中长期发展战略，落实国家级监管机制、产业协同等各方面的工作，促进ICT产业及相关行业的发展。 2.1.2 加强自主创新能力
将战略性新兴产业作为发展重点，围绕其需求部署创新链，掌握核心关键技术，突破技术瓶颈。加强技术集成和商业模式的创新，加快新产品、新技术、新工艺研发应用。
2.1.3 深化科技体制改革
将企业主体地位予以强化，建立以企业为主、以市场为导向、产学研一体化的创新体系。新体系要确保企业为产业技术研发、技术创新决策、成果转化的主导地位，要促进人才、资源、技术等创新要素向企业流动，要主动与产学研机构开展深度合作，要扶植和壮大创新型企业。
2.2 知识产权方面的引导
2.2.1 专利方面
国际专利纠纷在一定程度上提高了国内企业的专利危机意识，但是由于在国内专利长期并未得到重视及专利技术研发周期长，企业对是否有能力实现布局认识不清[5]。初具国际竞争实力的国内企业应该紧抓全球重大的专利收购机遇，快速提升整体竞争力。针对新技术涉及专利问题应加快系统研究，重视前瞻性专利布局。积极探索统一专利池的构建，增强全产业专利授权及谈判能力，探索构建国内企业面临知识产权危机时的商业保护伞机制。一方面强化自身研发投入，另一方面仍需加强产学研结合、实现高校和科研院所的专利对企业转移。
2.2.2 著作权方面
目前版权产业已经成为国民经济新的增长点和经济发展中的支柱产业。世界知识产权组织在与我国国家版权局的合作调研时发现，2013年我国著作权作品登记共845064件，其中软件著作权登记164349件，同比增长超过18%。物联网、云计算、大数据等 热点 领域软件均呈现出了加速增长态势，如物联网软件著作权共4388件，同比增长70.54%，云计算软件著作权共3017件，同比增长55.04%，明显高于软件登记整体增速。虽然我国软件技术正处在一个高速增长期，但存在着低水平重复、起点较低的问题，仍需坚持不懈的进行引导、创新和保护。
3 ICT相关企业实现方式探讨
经过多年的努力积累，在人工智能究领域我国在不再仅是国外技术的跟随者，已经能够独立自主地进行重大问题的创新性研究，并取得了丰硕的成果。今后我国相关企业应进一步拓展人工智能在ICT产业的应用，并加快构建ICT产业生态系统。我国ICT相关企业在整个产业上应该逐步完成以下几个方面。
3.1 政、学、研、产、用全面推进
政府与科研院所建立合作机制。我国已经在制定多个促进产学研合作的计划，目的是将基础研究、应用研究，以及国家工业未来的发展紧密联系起来。大力资助具有应用前景的科研项目，促进大学与产业界联合申请项目，同时对由企业参与投资开发的项目实行重点关注。企业参与高校的科研项目。鼓励实力雄厚的公司通过向高校提供资金、转让科研设备等形式建立合作关系。高校积极参加企业研发项目。提供多种形式的合作方式，如高校教师充当企业顾问、举办学术讲座或参加企业课题研究，公司科研人员到高校进修并取得学位等。随着高校与政府、企业、研发机构合作的不断深入，努力消除校企之间的空间和物理层面的隔阂。探索建立学校、地方、企业、研发机构四位一体的科技创新体系，尽快形成具有特色优势和规模效益的高新技术产业群。
3.2 加强合作、推进新技术的产业化与商用
通信设备企业可与电信运营商、互联网企业加强合作，共同搭建新型试验网络，验证基于融合技术的网络架构在各场景的运行状况，排查可能出现的问题，推进相关技术、设备以及解决方案的成熟与商用化。加大与科研院所、专利中介、行业协会组织的合作，充分利用各方资源优势。企业应着重关注和影响科研院所的研究方向，协助其加强研发的实用性，提高研发质量。可以采取与校企合作开发、企业牵头申报课题，高校参与、企业设立课题由高校认领、建立联合实验室等方式。合作培育应用生态。企业在推进网络控制平台面向标准化的过程中，应充分考虑和吸纳包括电信运营商、互联网企业及其他各类企业的网络应用创新需求，为网络应用生态体系的形成与繁荣创建良好的技术基础与商业环境。
3.3 全力抢占大数据
我国政府已经认识到大数据在改善公共服务、推动经济发展以及保障国家安全等方面的重大意义。2014年《政府 工作 报告 》明确提出，“以创新支撑和引领经济结构优化升级;设立新兴产业创业创新平台”，在新一代移动通信、集成电路、大数据等方面赶超先进，引领未来产业发展。ICT企业在发展大数据的总体思路应该是：首先，明确国家关于大数据发展的战略目标，促进电信、互联网、金融等拥有海量数据的企业与其他行业进行大数据融合，扩展大数据应用领域;其次，在技术方面需要提高研发的前瞻性和系统性，近期重点发展实时大数据处理、深度学习、海量数据存储管理、交互式数据可视化和应用相关的分析技术等[6];第三，集合产学研用各方力量，统筹规划大数据应用，避免盲目发展;最后，解决个人信息的数据安全性需求。
3.4 重点发展云计算
2014年3月，工信部软件服务业司司长陈伟透露我国云计算综合标准化技术体系草案已形成。在政府建立标准化的同时，ICT企业应以企业的角度积极参与到云计算领域研究中，服务国家云产业发展战略。建议向用户充分开放企业平台资源，推进社会云产业发展;加强技术应用深度，将云计算技术着重应用于信息搜索、数据挖掘等领域，逐渐形成社会资源利用方面高效可行的 方法 技术;广泛展开与社会各界合作，推动社会各类数据资源与企业云计算技术的整合应用。云计算企业拥有丰富的软硬件资源、技术资源以及人力资源，并且服务政府信息化建设意愿强烈。应通过与政府社会资源应用需求相结合，充分发挥企业云计算资源在服务政府信息化建设、社会资源应用方面的潜力。
4 小结
发达国家对人工智能技术在ICT产业应用的研究开展较早，为促进人工智能技术的发展和ICT产业相关技术的发展已经提出并实施了一些行之有效的策略，积累了一定的 经验 。本文通过对比国内外在人工智能技术重点方向发展现状，借鉴他国政策与经验，根据我国的国情及产业发展所处的阶段，提出符合我国目前产业发展现状，适合我国的可借鉴的策略，以期为促进我国人工智能技术在ICT产业发展提供参考。
下一页分享更优秀的>>>科技人工智能论文
