深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。
一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。
在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。
用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。
而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。
而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。
人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。
深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。
但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。
一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。
然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。
例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。
对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。
这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。
如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？
换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？
这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。
在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。
根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。
此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。
这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。
该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。
两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。
表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。
最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。
该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。
如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。
再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。
在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。
随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。
最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。
总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。
除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。
Refrence：
[1]
[2]
浅谈新时代背景下教与学关系新论
论文关键词 教学变革 脑科学 教与学
论文摘要 新时代的背景下，我们需要重新来审视教与学之间的关系，以求教与学更趋于合理化，更符合时代以及人类发展的需要。本文在传统教与学定义的基础上，结合最新的相关科学的发展及言论，理清相关脉络，试图探讨出一种新的教与学关系，为提高中小学课堂的有效性提供参考。 我国实施素质教育以来，学校的教学正经历着一场深刻的变革。在新时代的背景下，我们更需要重新审视教与学的关系，以求两者更趋于合理化，更符合时代以及人类发展的需要。教与学的关系，一直为人所探讨，人们一直试图寻求两者之间最佳的配比。然而，理论和实践都证明，它永远都在与时俱进，没有真正的盖棺定论一说。21世纪，脑科学的迅猛发展为我们揭开脑的神秘面纱又迈进了一步。多位科学家都证实，脑科学的发展为教学的科学化提供了证据。在新世纪，教与学的关系将更加科学化，我们的课堂也将向科学化、有效化迈进。 1 教与学的历史渊源 教育随着人类的产生而产生，并随着社会的发展而发展。最初，“教”和“学”以独立的单字出现，“教”有“教授、教诲、教化、告诫，令使等含义”，①“学”有学习、模仿、说、讲学等含义。后来才将两字合起来使用，但那时这个词并没有专有的解释意义。随着“教学”一词的沿用，广泛定义为教师传授给学生知识、技能，同时引申义为教师对学生正面的引导，将学生教导成对社会有用的人。 对于我们一般教育工作者来说，“教学”就是指教师指导学生进行学习的活动，这是一种教和学相结合或相统一的活动。只有单方面的活动或者只是这两项活动的简单相加而没有结合或统一起来，都不是我们所说的严格意义上的教学活动。② 2 教与学的传统关系 教与学的关系与时代的发展息息相关。在传统意义上，教与学的最基本的关系是相互依存的知识授受关系。③概括地说，“教”的功能是向学生传授系统的科学知识，训练学生形成基本技能、技巧，发展学生的智力和能力，同时培养学生的世界观和道德品质。使学生能够身体正常发育，健康成长。而学的主要活动是掌握教材内容，并将其内化为自己的经验系统。在这些关系中，学生是受体，确切地说是被动接受的客体。随着对这种观点种种弊端的批判，教与学是相互作用的双向关系的观点逐渐出现。一方面，教师的教影响学生的学，另一方面学生的学也影响教师的教。教师不仅在用教材内容对学生进行影响，而且也通过自己的言谈、举止、情感等人格特征对学生进行影响，它们整体上对学生的学习产生积极的或消极的作用，并因此而潜移默化地影响学生的个性的形成。同时，学生在教学活动中的`行为特点以及需要、兴趣、态度和抱负水平等也在影响教师的教。所以两者之间是密切的相互关系，也是隐含意义上的双向关系。 随着时代的不断进步，我们对教和学的关系有了更深刻的转变，因为我们逐渐认识到，教学关系的本质是主导与主动的关系，这是在确定学生在教学过程中的主体地位上发展而来的。对学生作为“一个人”的认识、对学生身心发展的认识、对学生社会角色的认识，构成了整个的学生观的改变。可以说，对学生观认识上的改变，扭转了传统意义上的教与学关系，逐渐将教学过程看作是一个由教到学、由依靠教师的教到学生独立的学的过程。这成为了教与学关系的最深刻的变革！ 3 新时代下的教与学变革 教师的教主要是为学生的学服务的，而教师的教要在教学过程中起主导作用，就必须真正使学生的学主动起来。我们一直致力于让学生能主动学起来，进而爱上学习，学会学习，独立学习。但普遍存在的厌学现象可能使每位教育者都为之头疼。实践清晰地告诉我们，教与学还有需要改进的地方。或许在有关教本能与学本能的争论中可以为我们找到一丝头绪。
高。
BrainSciences由来自美国匹兹堡大学的StephenD。Meriney教授担任主编。期刊主要发表神经科学研究领域相关论文，稿件审核力度非常严格，拒稿率高。
BrainSciences是一个专注于神经科学研究的国际性开放获取期刊，期刊主要发表神经科学研究领域相关论文，包括但不限于认知神经科学、发育神经科学、分子与细胞神经科学、神经工程学、神经影像学、神经语言学、临床神经科学、系统神经科学、理论与计算神经科学、环境神经科学、教育神经科学、行为神经科学等多个分类和领域。截至目前，BrainSciences已被SCIE、PubMed、Scopus等重要数据库收录。
