深度神经网络(DNNs)是 AI 领域的重要成果,但它的 “存在感” 已经不仅仅限于该领域。
一些前沿生物医学研究,也正被这一特别的概念所吸引。特别是计算神经科学家。
在以前所未有的任务性能彻底改变计算机视觉之后,相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力,并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络,已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。
用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下,有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。
而他们发现,诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求:如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话,借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象,从事 DNNs 研究的计算神经科学家,可能需要将他们的推论建立在多个网络实例组的基础上,即尝试去研究多个相同功能的神经网络的质心,以此克服随机影响。
而对于 AI 领域的研究者,团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。
人工神经网络由被称为 “感知器”、相互连接的单元所建立,感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器,一层用于输入层,另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层,就得到了一个 “深层” 神经网络,这些层越多,网络越深。
深度神经网络可以通过训练来识别数据中的特征,就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度(权重系数),以便网络学会将给定的输入(图像的像素)与正确的标签(猫或狗)相关联。理想状况是,一旦经过训练,深度神经网络应该能够对它以前没有见过的同类型输入进行分类。
但在总体结构和功能上,深度神经网络还不能说是严格地模仿人类大脑,其中对神经元之间连接强度的调整反映了学习过程中的关联。
一些神经科学家常常指出深度神经网络与人脑相比存在的局限性:单个神经元处理信息的范围可能比 “失效” 的感知器更广,例如,深度神经网络经常依赖感知器之间被称为反向传播的通信方式,而这种通信方式似乎并不存在于人脑神经系统。
然而,计算神经科学家会持不同想法。有的时候,深度神经网络似乎是建模大脑的最佳选择。
例如,现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响,尤其是在负责识别人、位置和事物的路径上,借鉴了一种被称为腹侧视觉流的机制。
对人类来说,腹侧神经通路从眼睛开始,然后进入丘脑的外侧膝状体,这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域,在 V1 和 V4 的下游是区域 V2 和 V4,它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构(与之相应的背部视觉流是一条很大程度上独立的通道,用于处理看到运动和物体位置的信息)。
这里所体现的神经科学见解是,视觉信息处理的分层、分阶段推进的:早期阶段先处理视野中的低级特征(如边缘、轮廓、颜色和形状),而复杂的表征,如整个对象和面孔,将在之后由颞叶皮层接管。
如同人的大脑,每个 DNN 都有独特的连通性和表征特征,既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强,那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢?
换句话说,功能相同,但起始条件不同的神经网络间究竟有没有差异呢?
这个问题之所以关键,是因为它决定着科学家们应该在研究中怎样使用深度神经网络。
在之前 Nature 通讯发布的一篇论文中,由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队,正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。
根据这篇论文,初始条件不同的深度神经网络,确实会随着训练进行而在表征上表现出越来越大的个体差异。
此前的研究主要是采用线性典范相关性分析(CCA,linear canonical correlation analysis)和 centered-kernel alignment(CKA)来比较神经网络间的内部网络表征差异。
这一次,该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析(RSA,representational similarity analysis)。
该分析法源于神经科学的多变量分析方法,常被用于将计算模型生产的数据与真实的大脑数据进行比较,在原理上基于通过用 “双(或‘对’)” 反馈差异表示系统的内部刺激表征(Inner stimulus representation)的表征差异矩阵(RDMs,representational dissimilarity matrices),而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。
两个系统如果在刺激表征上的特点相同(即表征差异矩阵的相似度高达一定数值),就被认为是拥有相似的系统表征。
表征差异矩阵的相似度计算在有不同维度和来源的源空间(source spaces)中进行,以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是,使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较,这使得研究结果可被直接用于神经科学研究常用的模型。
最终,对比的结果显示,仅在起始随机种子上存在不同的神经网络间存在明显个体差异。
该结果在采用不同网络架构,不同训练集和距离测量的情况下都成立。团队分析认为,这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。
如上图所示,研究团队通过计算对应 RDM 之间的所有成对距离,比较 all-CNN-C 在所有网络实例和层、上的表示几何。
再通过 MDS 将 a 中的数据点(每个点对应一个层和实例)投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似,但随着网络深度的增加,个体差异逐渐显现。
在证明了深度神经网络存在的显著个体差异之后,团队继续探索了这些差异存在的解释。
随后,研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化(network regularization)对结果能造成的影响,但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性,但并不能修正这些网络间的个体差异。
最后,通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化,团队在论文中表示,神经网络的性能与表征一致性间存在强负相关性,即网络间的个体差异会在训练过程中被加剧。
总而言之,这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异,即在训练开始前为网络设置不同权重的随机种子,但保持其他条件一致,并以此拓展了此前与 “神经网络间相关性” 有关的研究。
除了这篇 这篇 研究以外,“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究,论文名为《Similarity of Neural Network Representations Revisited》,文章探讨了测量深度神经网络表示相似性的问题,感兴趣的读者可以一并进行阅读。
Refrence:
[1]
[2]
课题名称:电脑和人脑的区别探究
组长:田毅毅
组员:孙树仁、牛宇翔、李银迪、肖艳舒
分工:孙树仁、牛宇翔 查找资料
李银迪、肖艳舒 咨询相关人员
田毅毅 整理资料
指导教师:宋义刚 课程教师:韩才师
前言:
这次研究的目的身为新世纪的人,有的竟然连人脑和电脑的区别都不知道。这次研究的主要是让所有的人知道和电脑的区别。通过这次研究使每个人了解人脑和电脑的区别,这次活动主要从人脑和电脑的发展史、结构、外型等几个方面展开研究。让新世纪的每个人都了解人脑和电脑,让每个人拓展自己的视野,丰富自己的生活,充实自我,完善自我。
活动过程:
首先,我们来了解一下人脑的发展史和结构。远古时期,人类的脑容量非常小。随着时间的推移,人类需要记忆的东西越来越多,人类的闹用量已经不能够满足了,人类发明了“结绳”等记忆方法。直到近人类的出现,人类的脑容量逐渐增大,在时间的催促下,近代人类的脑容量已经定型——与现代人的脑容量差不多。人脑的结构主要分为大脑、小脑和脑干三部分。
其次,我们来了解一下电脑的发展史和结构。21世纪人类最伟大的发明之一——电脑诞生了。起初的电脑非常大——有几间屋那么大,需要十几个人一起操控。随着科技的发展,电脑所占空间越来越小,功能越来越多。直到今天最为先进的掌上电脑也已经早已经被设计出来了。电脑的机构主要是由输入设备、输出设备等组成。电脑的最重要部分是荧屏中的那个“部件”——集成电路。
然后,我们了解一下人脑和电脑的外型。人脑的外型就像去了壳的核桃仁一样,分为左右两部分。人的左脑和右脑是成轴对称的,大脑占大部分空间,其次是小脑,脑干占的空间最少,而且在最后边,但它们的作用都非常重要。电脑分为台式电脑、笔记本、掌上电脑等,它们的外型更是五花八门的。首先,台式电脑的主机像个长方体,荧屏像一台电视机,键盘就像一个较薄的长方体。笔记本和台式电脑大体相同,只不过笔记本无主机。掌上电脑的外形和手机十分相似。掌上电脑的荧屏可以用手触摸,掌上电脑可以随声携带,这是他最大的优点。
最后,我们来了解一下人脑和电脑其余明显的不同。人脑是人类各种生理活动,生命运动的控制中心;人脑周围神经系统,运输系统等;人脑内含有许多中枢系统,如语言中枢系统,运动中枢系统等。电脑是人类智慧的结晶;电脑需要靠电来运行;电脑内含有许多系统;多种设备,电脑的储存能力强。电脑即可以帮助人类完成工作,也可以帮助人类缓解压力。电脑是把双刃剑,我们既不要过于沉迷于网络,也不要不上网。总之,要谨慎对待网络。
感想:通过这次活动是我们了解了人脑和电脑的区别——人脑和电脑的发展史、结构、外型的区别。这次活动让我更加准群的了解了人脑和电脑,同时拓展了我的视野,丰富了我的生活,激发了我的好奇心,是我对生活更加充满了期待,是我自己更加充实、更加完善。以后我还会参加这样的活动,使我更加的“完美”。让我的失业更加宽广,生活更加丰富,思想更加丰富。
总结收获:
通过这次活动使我更加了解了人脑和电脑的区别,是我生活更加充实、更加完善、更加丰富,这次也拓展了我的视野,激发了我的好奇心。同时在这次活动中,我发现我们组组员非常团结,非常有默契,自觉遵守纪律,这次活动也是我们与老师的沟通增多了,是我们的师生关系更加融洽!这次活动让我懂得了什么叫做“友情”,什么叫做“师生情”。这次活动让我懂得了什么叫做“团结”,什么叫做“默契”。在这次活动中我们大家一起认真的研究,调查,这使我深深感动。这次活动让我更加清楚的明白了人脑和电脑,这次活动让我对未来的生活更加充满了期待,让我更加充满了信心去迎接未来,挑战未来,让我对于未来的“电脑”更加充满了想象。这次活动之后,我明白了做什么事都需要别人的帮助,都需要与别人交流,正所谓“兄弟齐心,其力断金。”总之,我要好好学习,将来去制造,体积更小,功能更多的电脑。我相信我在“朋友、同学、老师”的帮助下,一定会成功的!
组员感想:
通过这次活动,我体会与认识到了人脑的区别,觉得人类世界是如此的奇妙,人类生活是如此的丰富与精彩,以前曾经对此问题也曾对此问题感兴趣一直想找时间去研究、取法向里面的一些奥秘,但没有时间和足够的帮手,自从有了研究性学习,能跟自己喜欢的小组成员与老师还有足够的资料将这次活动顺利的完成了,也起到了相应的结果,弥足了课外知识,增加了自己的视野是一次比较有意义的活动,同时也发扬了团体精神,小组成员互帮互助,十分团结,增添了团队友谊,同学、老师之间的感情进一步加深了。团队精神增强,这是一次很有价值意义的活动。
希望学校的领导和老师能够多开展一些这样有意义的活动,不但能放松学习的压力,又能开拓自己的视野,更能考验我们学生自身的能力,还有团队精神。
世界上最复杂的“脑”,是人脑。人脑每天都在处理着大量的信息。它有着非常复杂的信息输入接口和信息输出接口。这是世界上任何高级电脑都无法比拟的,特别是在智能方面。
无论何时,都不要太迷信电脑。的确,电脑在科学计算、自动控制、信息处理等方面,帮了我们大忙。但是,到目前为止,电脑所能做到的就是执行人类编写的或简单或复杂的程序,能够自主学习的电脑还没有创造出来。
对于一般用户而言,电脑充其量就是一台能够帮忙我们处理各种信息的电子工具而已。从信息处理的流程来看,信息获取的主体是人,信息处理的主体也是人,信息输出的主体也是人。人脑在信息处理的各个环节起着至关重要的作用。电脑在信息处理的各个环节中,充分发挥其速度快、精度高、记忆能力强的特点,帮助人脑加快了处理进度,提高了工作效率。所以,它只是人脑处理信息时可以利用的很好的信息处理工具而已。
无论多么复杂的电脑,就其组成来看,无外乎信息输入部分,信息输出部分,信息处理部分。所以,学习电脑的一个好处之一,使我们对人脑信息处理的工作机制,有了一个大致的了解,便于我们更好的处理各种信息。
永远不要忘记,获取什么信息、怎样进行信息处理、输出什么样的信息、哪些信息对我们是有用的,这些都是人脑的重要任务和机能。电脑只能被动的按照人类的要求,严格地去执行每一个任务。
现在是信息社会,信息素养是非常重要的。但是信息素养的培养与信息技术的技能学习是完全不同的两码事,不要以为你精通信息技术、你的信息素养就是高的。信息是无处不在,有的人懂电脑但能够及时捕捉并充分利用之,但是有的人精通信息技术却对信息感觉迟钝。
因此,你的大脑是最智慧的“电脑”。经常训练你的大脑,才是聪明的源泉。电脑只是一个很好的不可或缺的信息工具。它可以帮忙你记忆、机械处理一些复杂的数据、或执行你的事先已经谋划好的策略程序而已。
电脑永远不能完全代替人脑。但是,为了更快更好进行信息处理,你必须学习使用电脑。
爱因斯坦的大脑潜能开发率达到了13%。
西方神经外科医生对于大脑的研究论文中说了,普通人的大脑只开发了不到10%。如果人类大脑开发程度达到了100%,那么人类将会拥有不死的力量,你我都有可能是天才,虽然这是研究论文,但他并不是严谨可靠的文献。
据科学家研究,正常人的脑细胞约140亿~150亿个,但可能只有不足10%被开发利用,其余大部分在休眠状态,更有研究统计认为有98.5%的细胞是处于休眠,甚至有专家认为只有1% 参加大脑的功能活动。
爱因斯坦大脑为什么能开发那么多
随着科技的发展,对于爱因斯坦的大脑研究也有了越来越多的进展。据研究表明,爱因斯坦的大脑比常人的要小。但是顶叶会比常人的宽。顶叶影响着人们的空间意识,这也许是影响他的一些空间理论产生的原因。
顶叶还是和数学素质相关。十二岁的爱因斯坦在数学方面表现出了惊人的天赋。这也许也跟顶叶有关。爱因斯坦的脑的脑细胞数目比常人的很多。神经组织的量也较多。而且脑子比较健康。老化的征兆较少。
爱因斯坦大脑的开发应该与他后天的努力也是有一定关系的。爱因斯坦非常的喜欢思考,所以他的大脑一直保持着充分的活力状态。人的大脑里有很多的脑细胞,每年都会有一些脑细胞死亡,只有通过不断的训练大脑,才会不断的产生新的脑细胞。