nature最新研究亮点论文

深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]

作者 | 张晴丹

你能想象0.2克的“绳子”可以提起5公斤重的物体吗？

没开玩笑，这是科研人员创造出的一种力学性能惊人的新材料。它不但具有很好的拉伸性能，拉伸长度能达600%，而且还非常坚韧。

近日，美国北卡罗来纳州立大学Dickey实验室博士后王美香以第一作者的身份，在Nature Materials上发表论文，介绍了这款新材料。它属于离子液体凝胶的一种，在抗拉伸性能和韧性上创造了这类材料的最高纪录，也展现出比水凝胶更广阔的应用前景。

评审专家之一、麻省理工学院教授赵选贺认为，“这些透明的离子液体凝胶具有非常坚韧的机械性能，而且最大的亮点是制作简单，易于使用。”

1+1 10，凝胶界的“佼佼者”

“通常凝胶的机械性能很弱，比如豆腐。但在自然界中也有例外，比如人体内的软骨。一些研究人员一直在努力制造坚韧的凝胶，这启发了我们。”论文共同通讯作者、北卡罗来纳州立大学Dickey实验室负责人Michael D. Dickey告诉《中国科学报》。

此次创造出的离子液体凝胶含有超过60%的离子液体，主要包含丙烯酸和丙烯酰胺两种物质，前者是用于婴儿尿不湿吸水的主要材料，后者是用于隐形眼镜的主要材料。最后，混合材料兼具了聚丙烯酰胺和聚丙烯酸离子液体凝胶的优点，实现了1+1 10的效果。

王美香介绍，新材料透明度达90%以上，其内部的聚合物网络微结构使凝胶拥有极高的力学性能，可拉伸而且非常坚韧。拉伸的长度能达600%，模量有约50个兆帕，断裂强度约有13个兆帕。这是目前离子液体凝胶界的最高纪录。

论文中展示的是用0.2克的离子液体凝胶材料，轻松提起1公斤重量的物体。事实上提起5公斤的重量也不在话下，但因实验室没有5公斤的标准件，他们后来用5公斤的水桶做了实验，材料本身不会有任何破损。

离子液体这个溶剂本身不挥发，且具有很高的热稳定性和导电性。因此，创造出的这款离子液体凝胶具有广阔的应用前景。“可用于电池、传感器、3D打印、致动器和柔性电子设备等。”Michael D. Dickey说。

可穿戴柔性电子器件是当下科学研究的热门之一，要同时满足可弯折、扭曲、拉伸等需求，所以对材料的要求极高。以往做展示用的较多的是传统柔性材料——水凝胶，但水凝胶稳定性是个大问题，长期暴露在空气中会导致水分蒸发、性能受损。

“离子液体凝胶完全可以替代水凝胶在可穿戴柔性电子器件上的应用。首先它很稳定不挥发，不需要任何包覆；其次具有高导电性，不需要额外添加导电介质；可穿戴设备往往需要大变形，离子液体凝胶还可以用来开发应变传感器。”王美香说，“还有一点，它具有自愈合和形状记忆的特性。”

一步法轻松做成

长期以来，在凝胶材料领域最火的，非水凝胶莫属。

实际上，水凝胶在生活中已相当常见。比如，隐形眼镜、果冻、龟苓膏等都是水凝胶的“产物”。自62年前水凝胶横空出世，科研人员便绞尽脑汁地挖掘其力学性能，涌现了无数重大成果。

但同为凝胶材料，离子液体凝胶领域的研究则发展较慢。例如力学性能研究还是一块空白，很难把它的力学性能做到与高强度水凝胶相媲美的程度。

在这篇论文发表之前，合成高强度离子液体凝胶的方法并不易。为了提高材料的力学性能，一些研究人员采用多步法或者溶剂交换，整个过程耗时长、成本高，而且浪费资源。

挑战不可能，这是科研工作者骨子里的基因，恰好离子液体这个溶剂的“72般变化”也让王美香着迷。

“顾名思义，水凝胶用的溶剂只有一种，就是水，而离子液体凝胶用的溶剂是离子液体，有成千上万种，这正是它的魅力所在。”王美香对《中国科学报》说。离子液体在室温下是一种液态的熔融盐，里面含有正离子和负离子，只要熔融盐里的正负离子不一样，就可以实现离子液体的千变万化。

研究选材是从聚丙烯酸和聚丙烯酰胺的单体开始。

最初，王美香把两种材料分开来做。当把丙烯酰胺融到离子液体后，产生的凝胶跟她预想的完全不一样，不透明、发白，就像晒干的面条一样特别脆，一碰就断。随后她又试了丙烯酸，做出来的凝胶则超级软，透明度达到百分百。

完全就是两种极端！这让她无比兴奋，如果把三者混在一起，会擦出什么样的火花呢？

“把丙烯酰胺和丙烯酸融到离子液体里，再加入引发剂和交联剂，然后混匀，用高功率紫外灯照射，3分钟就能制作出论文中这种新型混合材料。”王美香说，“就是这么简单。”

一步法就这样诞生了！它为离子液体凝胶研究开启了新世界的大门。

为实验蓄能，把理论变为现实

王美香在西安交通大学读博期间，就一直从事水凝胶研究。但她看到了离子液体凝胶材料的巨大潜力，因此萌生了调整研究方向的想法。

2018年12月，王美香从西安交通大学获得材料科学与工程博士学位后，进入北卡罗来纳州立大学Dickey实验室做博士后，主要致力于高机械性能凝胶材料的设计和制备，以及研究其在可穿戴柔性电子器件、全固态电池以及超级电容器、传感器和驱动器等领域的应用。

在新的平台，王美香也顺利转换到新赛道，开始离子液体凝胶材料研究。

但是，王美香刚进入北卡罗来纳州立大学，新冠疫情就来了，一下打乱了研究计划，学校封闭，无法进入实验室。

她便利用这段时间查阅文献，为实验蓄能。在家“闭关”三个月后，终于等来复工的消息。王美香便一头扎进实验里，每天在实验室待八个小时，把实验过程中看到的现象记录下来，晚上回家查资料来分析这些现象的成因。

幸运的是，这项工作从始至终都比较顺利，这篇论文投给期刊也很快被接收。并且，评审专家都对该成果给了很高的评价。

“接下来，我们将会做应用方面的拓展，想把离子液体凝胶与3D打印技术相结合，用于开发新型柔性机器人。”王美香说。

参与这项研究的一共有9位作者，其中华人学者就有4位。除了王美香，另外3位分别是论文共同通讯作者、西安交通大学教授胡建，西安交通大学硕士生张鹏尧，以及美国内布拉斯加州大学林肯分校研究助理教授钱文。