Nature系列公众号。
另外,科学网每期会有期刊解析类文章发表。Nature是世界上最负盛名科技期刊之一,只有Science能与其比肩。Nature是一种高级科普,一般能达到在这个上面发表的论文都是比较厉害的。
在中国,有两种分区:一种是JCR分区;另一种是中科院分区。在国外,基本不存在分区概念,这只是一个参考,他们一般只投本学科权威期刊,不管分区的,但这些权威期刊一般影响因子都很高。
但是由于Nature集团现在创办了很多新刊,现在Nature系列期刊有将近一百种,包含各个学科,非常复杂,除近年新办期刊外均为SCI期刊。
深度神经网络(DNNs)是 AI 领域的重要成果,但它的 “存在感” 已经不仅仅限于该领域。
一些前沿生物医学研究,也正被这一特别的概念所吸引。特别是计算神经科学家。
在以前所未有的任务性能彻底改变计算机视觉之后,相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力,并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络,已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。
用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下,有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。
而他们发现,诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求:如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话,借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象,从事 DNNs 研究的计算神经科学家,可能需要将他们的推论建立在多个网络实例组的基础上,即尝试去研究多个相同功能的神经网络的质心,以此克服随机影响。
而对于 AI 领域的研究者,团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。
人工神经网络由被称为 “感知器”、相互连接的单元所建立,感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器,一层用于输入层,另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层,就得到了一个 “深层” 神经网络,这些层越多,网络越深。
深度神经网络可以通过训练来识别数据中的特征,就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度(权重系数),以便网络学会将给定的输入(图像的像素)与正确的标签(猫或狗)相关联。理想状况是,一旦经过训练,深度神经网络应该能够对它以前没有见过的同类型输入进行分类。
但在总体结构和功能上,深度神经网络还不能说是严格地模仿人类大脑,其中对神经元之间连接强度的调整反映了学习过程中的关联。
一些神经科学家常常指出深度神经网络与人脑相比存在的局限性:单个神经元处理信息的范围可能比 “失效” 的感知器更广,例如,深度神经网络经常依赖感知器之间被称为反向传播的通信方式,而这种通信方式似乎并不存在于人脑神经系统。
然而,计算神经科学家会持不同想法。有的时候,深度神经网络似乎是建模大脑的最佳选择。
例如,现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响,尤其是在负责识别人、位置和事物的路径上,借鉴了一种被称为腹侧视觉流的机制。
对人类来说,腹侧神经通路从眼睛开始,然后进入丘脑的外侧膝状体,这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域,在 V1 和 V4 的下游是区域 V2 和 V4,它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构(与之相应的背部视觉流是一条很大程度上独立的通道,用于处理看到运动和物体位置的信息)。
这里所体现的神经科学见解是,视觉信息处理的分层、分阶段推进的:早期阶段先处理视野中的低级特征(如边缘、轮廓、颜色和形状),而复杂的表征,如整个对象和面孔,将在之后由颞叶皮层接管。
如同人的大脑,每个 DNN 都有独特的连通性和表征特征,既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强,那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢?
换句话说,功能相同,但起始条件不同的神经网络间究竟有没有差异呢?
这个问题之所以关键,是因为它决定着科学家们应该在研究中怎样使用深度神经网络。
在之前 Nature 通讯发布的一篇论文中,由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队,正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。
根据这篇论文,初始条件不同的深度神经网络,确实会随着训练进行而在表征上表现出越来越大的个体差异。
此前的研究主要是采用线性典范相关性分析(CCA,linear canonical correlation analysis)和 centered-kernel alignment(CKA)来比较神经网络间的内部网络表征差异。
这一次,该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析(RSA,representational similarity analysis)。
该分析法源于神经科学的多变量分析方法,常被用于将计算模型生产的数据与真实的大脑数据进行比较,在原理上基于通过用 “双(或‘对’)” 反馈差异表示系统的内部刺激表征(Inner stimulus representation)的表征差异矩阵(RDMs,representational dissimilarity matrices),而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。
两个系统如果在刺激表征上的特点相同(即表征差异矩阵的相似度高达一定数值),就被认为是拥有相似的系统表征。
表征差异矩阵的相似度计算在有不同维度和来源的源空间(source spaces)中进行,以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是,使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较,这使得研究结果可被直接用于神经科学研究常用的模型。
最终,对比的结果显示,仅在起始随机种子上存在不同的神经网络间存在明显个体差异。
该结果在采用不同网络架构,不同训练集和距离测量的情况下都成立。团队分析认为,这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。
如上图所示,研究团队通过计算对应 RDM 之间的所有成对距离,比较 all-CNN-C 在所有网络实例和层、上的表示几何。
再通过 MDS 将 a 中的数据点(每个点对应一个层和实例)投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似,但随着网络深度的增加,个体差异逐渐显现。
在证明了深度神经网络存在的显著个体差异之后,团队继续探索了这些差异存在的解释。
随后,研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化(network regularization)对结果能造成的影响,但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性,但并不能修正这些网络间的个体差异。
最后,通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化,团队在论文中表示,神经网络的性能与表征一致性间存在强负相关性,即网络间的个体差异会在训练过程中被加剧。
总而言之,这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异,即在训练开始前为网络设置不同权重的随机种子,但保持其他条件一致,并以此拓展了此前与 “神经网络间相关性” 有关的研究。
除了这篇 这篇 研究以外,“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究,论文名为《Similarity of Neural Network Representations Revisited》,文章探讨了测量深度神经网络表示相似性的问题,感兴趣的读者可以一并进行阅读。
Refrence:
[1]
[2]
《BAC TransgeneOmics : 蛋白质作用的探险的高生产量方法在mammals.》 作者:Ina装腔作势者, Mihail Sarov等的。自然方法。 2008.Vol 5 No.5 :409-415.
《nature》和《science》的主刊定位为兼顾学术期刊和科学杂志,涵盖了所有学科,属于综合性科学杂志《nature》和《science》的子刊偏向某一专业的专门针对某一类别的研究。
主刊与其子刊的档次差距在于影响力或者影响因子:
1、根据期刊引证报告,《科学》在2014年的影响因子为31.477。nature影响因子为40.137(17年数据)。
2、Nature Geoscience是Nature08年创刊的地球科学子刊,14年影响因子10.39,这个地球科学,尤其是地质类有影响力的一区专业期刊里面是很有含金量的。即使是Nature主刊,如果只考虑地球科学方面的文章的话,影响因子也很难超过15。
3、Nature Communcations是2010年创刊的新子刊,宗旨跟Nature主刊比较一致,2017-2018最新影响因子为12.353。
4、通过IF比较,某些子刊类的review甚至高于主刊,但综合来看,主刊比其子刊更有影响力,也更难发文章。
Nature系列刊物有三类:综述性期刊,对重要的研究工作进行综述评论;研究类期刊,以发表原创性研究报告为主;临床医学类期刊,对医学领域重要的研究进展做出权威性解释,并促进最新的研究成果转变为临床实践。截止2018年1月14日下午,自然出版集团旗下包括Nature本身以Nature打头的期刊已经52个,其中子刊为51个!
science旗下刊物有Science Advances;Science Translational Medicine;Science Signaling;Science Immunology;Science Robotics。
nature的论文不仅要求具有“突出的科学贡献”,还必须“令交叉学科的读者感兴趣”。science的主要关注点是出版重要的原创性科学研究和科研综述,此外《科学》也出版科学相关的新闻、关于科技政策和科学家感兴趣的事务的观点。
同一篇文章可以同时发子刊主刊。
科技论文基本以3种形式出现在《nature》和《science》:
(1)学术论文:《Nature》:Articale;《Science》:Research articale;
(2)研究报道:《Nature》:Letter;《Science》:Report;
(3)通讯:《Nature》:Correspondence;《Science》:Letter。
两刊的一个重要差别是《Science》允许参考文献中在参考文献号下列出一个以上的文献,同时也允许在参考文献下加入简要注解说明等。这2点在《Nature》中都是不允许的。因此,在同一类文章形式中,《Science》提供了较大的空间。
参考资料:
《Nature》杂志发表科学和技术所有领域的论文。该杂志每星期收到论文约150篇,由 于版面有限,其中能够发表的只有约20篇。我在生物帮那里看到过介绍,你可以去那里了解一下。生物方面的资讯,文档,软件都可以到那里找的,他们面向生物研究者、企业和研究机构,提供最新、领先、精准、高效、全面的生物产品和技术信息。 原始性:《Nature》杂志录用论文最重要的标准是,研究论文必须是原始的,必须是作 者的独立工作,其中心部分的任何内容不得向其他刊物投稿(《Nature》杂志对在其他 刊物上发表相关或类似论文有专门规定,欲知详情,请访问,参阅《作 者须知》)。重要性:论文所反映的研究工作对于同一领域的科学家来说必须是重要的。这种判断通 常是由《Nature》杂志的编辑在审稿人的帮助下做出的,审稿人既可通过正式报告反映 自己对稿件的意见,也可通过打电话或发email的形式非正式地向编辑提出建议。很多投 稿未经审稿就被退回,是因为这些稿件只是一个新的概念形成过程中的中间步骤,而不 是因为《Nature》杂志的编辑认为它们的学术论点是不正确的。交叉性:投给《Nature》杂志的论文还必须能够让其他科学领域的研究人员感兴趣。作 为综合性科学刊物,《Nature》杂志希望有很大比例的读者会对自己领域之外的研究工 作产生浓厚兴趣。可以 参考:
IT can help you.Click Sign in account.
可读性:《Nature》杂志要求自己发表的论文能够让读者比较容易地看懂。这一要求与 其说是语言问题或文风问题,倒不如说是条理问题和表述问题。中国科学家的第一语言 不是英语,但他们并没有因为自己的论文偶尔会出现语法错误而受到歧视。《Nature》 杂志希望发表的是能够反映最重要的科研成果的论文,其编辑乐于帮助作者以正确的英 文来表述自己的研究工作。《Nature》杂志的编辑中有许多本人就来自非英语国家。对 于那些英语不是很熟练的人来说,最重要的是,当他们投稿时,要做到尽可能简单而明 了地在其论文中解释自己的研究工作。新颖性:作为一个周刊,《Nature》杂志必须选择其结果包含某种新颖成分的研究论文 。这样的论文既可以是对以前人们不知道的某种现象的描述,也可以是向以前被人们广 为接受的某个假设提出质疑。例如,一篇能够令人信服地证明永恒运动的论文相对于一 篇证明永恒运动是不可能的论文来说,前者就会被《Nature》杂志优先考虑。 巧妙性:《Nature》杂志优先考虑那些新颖、别致、巧妙的研究工作,包括那些通过一 个非常简单的路径、通过对方法的巧妙改进而得到某种可靠结果的研究工作,以及那些 将一个领域的知识巧妙应用于另一领域的研究工作。虽然《Nature》杂志发表的每一篇 论文并非都要包括以上全部要素,但它们通常要满足其中不止一个条件。《Nature》杂志并不排除发表那些专业性很强、但非常重要的论文,也不排除发表那些介绍目前还无 法解释的有趣现象的论文,但由于版面有限,这些类型的论文被录用的机会相对来说要 小一些.