发布时间：
谷歌的AlphaGo与柯杰的大战已经结束数日，而DeepMind承诺的50分棋谱也已经公布，而作为当前最先进的计算机“技术”，有限元方法有没有与机器学习（人工智能）进一步结合并碰发出绚丽的“火花”呢？？答案是肯定的！！！ 什么是人工智能 人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。 机器学习是人工智能的一个分支，简单地说，就是通过算法，使机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来进行预测。 常见的机器学习算法如： ✔神经网络（Neural Network） ✔支持向量机(Support Vector Machines, SVM)Boosting ✔决策树（Decision Tree） ✔随机森林（Random Forest） ✔贝叶斯模型（Bayesian Model）等。 早期的机器学习算法由于受到理论模型和计算资源的限制，一般只能进行浅层学习，只在搜索排序系统、垃圾邮件过滤系统、内容推荐系统等地方有所应用。 而之后发生的几件事，掀起了深度学习的浪潮。一件是2006年，加拿大多伦多大学教授Hinton和他的学生Salakhutdinov在Science上发表了一篇文章，揭示了具有多个隐层的神经网络（即深度神经网络）优异的学习性能，并提出可以通过“逐层初始化”技术，来降低深度学习网络训练的难度； 第二件事是在2012年 底，Geoff Hinton 的博士生 Alex Krizhevsky、Ilya Sutskever利用卷积神经网络（Convolutional Neural Network, CNN）在图片分类的竞赛 ImageNet 上，击败了拥有众多人才资源和计算资源的Google，拿到了第一名。 如今机器学习已深入到包括语音识别，图像识别，数据挖掘等诸多领域并取得了瞩目的成绩。 有限元法的发展简史 有限元方法（FEA）即有限单元法，它是一种数值分析(计算数学)工具，但不是唯一的数值分析工具。在工程领域还有其它的数值方法，如：有限差分法、边界元方法、有限体积法。 有限单元法已成为一种强有力的数值解法来解决工程中遇到的大量问题，其应用范围从固体到流体，从静力到动力，从力学问题到非力学问题。事实上，有限单元法已经成为在已知边界条件和初始条件下求解偏微分方程组的一般数值方法。 有限单元法在工程上的应用属于计算力学的范畴，而计算力学是根据力学中的理论，利用现代电子计算机和各种数值方法，解决力学中的实际问题的一门新兴学科。它横贯力学的各个分支，不断扩大各个领域中力学的研究和应用范围，同时也在逐渐发展自己的理论和方法。 神经网络与力学 其实，在深度学习浪潮掀起之前，力学和工程领域早已开始在计算力学研究中结合神经网络模型，开发出更优的算法，一个典型的例子便是有限元神经网络模型。 由于在实际工程问题中存在大量的非线性力学现象，如在结构优化问题中，需要根据需求设计并优化构件结构，是一类反问题，这些非线性问题难以用常规的方法求解，而神经网络恰好具有良好的非线性映射能力， 因而可得到比一般方法更精确的解。 将有限元与神经网络结合的方法有很多，比如针对复杂非线性结构动力学系统建模问题，可以将线性部分用有限元进行建模，非线性构件用神经网络描述（如输入非线性部件状态变量，输出其恢复力），再通过边界条件和连接条件将有限元模型部分和神经网络部分结合，得到杂交模型。 另一种方法是首先通过有限元建立多种不同的模型，再将模态特性（即最终需要达到的设计要求）作为输入变量，将对应的模型结构参数作为输入变量，训练神经网络，利用神经网络的泛化特性，得到设计参数的修正值。 结合Monter Carlo方法，进行多组有限元分析，将数据输入神经网络中进行训练，可以用来分析结构的可靠度。 已有研究成果 [1]余凯,贾磊,陈雨强,徐伟. 深度学习的昨天、今天和明天[J]. 计算机研究与发展,2013,09:1799-1804. [2]周春桂,张希农,胡杰,谢石林. 基于有限元和神经网络的杂交建模[J]. 振动工程学报,2012,01:43-48. [3]费庆国,张令弥. 基于径向基神经网络的有限元模型修正研究[J]. 南京航空航天大学学报,2004,06:748-752. [4]许永江,邢兵,吴进良. 基于有限元-神经网络-Monte-Carlo的结构可靠度计算方法[J]. 重庆交通大学学报(自然科学版),2008,02:188-190+216. 未来的一些方向 1、图形显示方面（有限元与AR&VR） 随着有限元计算涉及的领域以及计算的规模不断增大，计算结果的高效、高质量的前后处理也随之成为了一个问题。 AR&VR在图形化数据展示方面，将我们从显示屏解放出来，可以以一种更加直观的方式查看计算分析数据，未来在分析结果VR展示方面，会有较大的突破。 国内也有学者已经展开了相关方面的研究，比如《虚拟现实环境中有限元前后处理功能实现》等论文，有限元虚拟处理技术(FEMVR)也开始逐步进入相关软件领域，例如：ANSYS COMSOL可以和MATLAB做交互，新版MATLAB内置了一些人工智能算法。 2、有限元与大数据、云计算 计算规模增大，伴随着计算机能力的提升，随之而来的云计算，解脱了对于计算机硬件的束缚，对于可以放开规模与数量的分析计算，有限元与大数据以及云计算的碰撞，对于未来问题的解决，将有一个质的飞跃，量变到质变的直观体现，在有限元与大数据中会有一个绚丽的展示。 3、有限元与人工智能 人工智能作为全球热的技术，与“古老”的有限元之间，相信可以在老树上发新芽，而我们可以欣喜的看到，相关的研究也已经开展，期待未来对于现实问题的解决，能有更好的更优的方案。 4、CAD数据与CAE数据的无缝对接 目前等几何分析（Isogeometric Analysis, IGA）的发展热度来看，将CAD中用于表达几何模型的NURBS基函数作为形函数，克服FEA中模型精度损失的问题，实现CAD和CAE的无缝结合，是一个很有前途和潜力的发展方向。 5、CAE与MBD的深度融合 未来CAEFEM可能会与多体动力学仿真（MBS）软件深度整合起来。实际系统中某些运动部件的弹性无法忽略，甚至是主要动力学行为的来源，所以就产生了柔性多体动力学仿真这个需求，这样只需要定义相关部件的受力和边界条件，其余的都是内部作用，仿真即节省工作量又较为真实可信。而且现在的确有很多MBS软件里面可以把部件建成弹性体，如LMS Virtual Lab，Simpack等等，但过程没有那么傻瓜；除了简单的梁、轴等零件，复杂形状的零件要依赖FEM软件事先生成的数据文件。 6、网格工作的智能化，傻瓜化 将来对弹性体建模可能更加傻瓜，先把刚性多体系统模型建起来，然后在建模环境（前处理）中直接make body flexible，系统可以根据这个部件的形状、材料、边界条件等选择合适的网格类型，并把运动和力的作用点couple到对应的节点（组）上。比如说汽车悬挂系统仿真，在一个工作环境下就能把某个部件的应力校核给做了，而不需要说搞多体建模的人要把边界力生成一个load case再发给专门的FEM工程师去做。 （部分来自知乎） 如何追上有限元的发展 任何技术的进步，都要在实践中展示技术的威力，有限元的发展，会随着技术的进步，特别是计算机技术的进步，在未来无论是应用软件的研究还是智能程序的开发，都将有无限的机会与可能。 积极学习新技术，新方法，在应用领域，关注有限元相关软件的新功能。 1、了解热点、跟踪前沿 2、结合实际拓展应用 3、掌握自动化相关技术 想要更多，点击此处
、计算方法不同1、前馈神经网络：一种最简单的神经网络，各神经元分层排列AI爱发猫 。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。二、用途不同1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。2、BP神经网络：（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；（3）分类：把输入向量所定义的合适方式进行分类；（4）数据压缩：减少输出向量维数以便于传输或存储。3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。联系：BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。三、作用不同1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。3、卷积神经网络：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。扩展资料：1、BP神经网络优劣势BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。②容易陷入局部极小值。③网络层数、神经元个数的选择没有相应的理论指导。④网络推广能力有限。2、人工神经网络的特点和优越性，主要表现在以下三个方面①具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、效益预测，其应用前途是很远大的。②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。③具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。参考资料：百度百科—前馈神经网络百度百科—BP神经网络百度百科—卷积神经网络百度百科—人工神经网络。卷积神经网络处理规格不同的图片用卷积神经网络处理 “图” 结构数据应该怎么办。卷积神经网络有以下几种应用可供研究：1、基于卷积网络的形状识别物体的形状是人的视觉系统分析和识别物体的基础，几何形状是物体的本质特征的表现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是三维图像识别的基础。2、基于卷积网络的人脸检测卷积神经网络与传统的人脸检测方法不同，它是通过直接作用于输入样本，用样本来训练网络并最终实现检测任务的。它是非参数型的人脸检测方法，可以省去传统方法中建模、参数估计以及参数检验、重建模型等的一系列复杂过程。本文针对图像中任意大小、位置、姿势、方向、肤色、面部表情和光照条件的人脸。3、文字识别系统在经典的模式识别中，一般是事先提取特征。提取诸多特征后，要对这些特征进行相关性分析，找到最能代表字符的特征，去掉对分类无关和自相关的特征。然而，这些特征的提取太过依赖人的经验和主观意识，提取到的特征的不同对分类性能影响很大，甚至提取的特征的顺序也会影响最后的分类性能。同时，图像预处理的好坏也会影响到提取的特征。卷积神经网络为什么最后接一个全连接层在常见的卷积神经网络的最后往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图（featuremap）转化成（N*1）一维的一个向量全连接的目的是什么呢？因为传统的端到到的卷积神经网络的输出都是分类（一般都是一个概率值），也就是几个类别的概率甚至就是一个数--类别号，那么全连接层就是高度提纯的特征了，方便交给最后的分类器或者回归。但是全连接的参数实在是太多了，你想这张图里就有20*12*12*100个参数，前面随便一层卷积，假设卷积核是7*7的，厚度是64，那也才7*7*64，所以现在的趋势是尽量避免全连接，目前主流的一个方法是全局平均值。也就是最后那一层的featuremap（最后一层卷积的输出结果），直接求平均值。有多少种分类就训练多少层，这十个数字就是对应的概率或者叫置信度。卷积神经网络是如何反向调整参数的？卷积神经网络的模型问题？ 50。怎么又是你.....网络自然是搭建起来的啊，比如CNN，一层一层地建，如果你是用别人已经建好的网络，比如最简单的LeNet-5，那么Tensorflow中会直接提供你一个Net；但是如果你是自定义网络类型，那么需要继承nn.Nodules，然后重新定义网络结构，封装成一个Net，总结起来，模型是很多数学公式搭在一起，然鹅，数学公式是封装好的，可以相互交流哈。 打开CSDN，阅读体验更佳卷积神经网络的缺点是什么?_土豆西瓜大芝麻的博客_卷积神经...平移不变性 当我们说平移不变性时,我们意思是,稍微改变同一物体的朝向或位置,可能并不会激活那些识别该物体的神经元。 正如上图所示,假如一个神经元是用来识别一只猫的,其参数会随着猫的位置和转动的变化而变化。虽然数据扩增(data aug...卷积神经网络存在的问题,卷积神经网络的卷积层_普通网友的博客-CSDN博 ...对于无法完美解决的梯度消失问题,一个可能部分解决梯度消失问题的办法是使用ReLU(RectifiedLinearUnit)激活函数,ReLU在卷积神经网络CNN中得到了广泛的应用,在CNN中梯度消失似乎不再是问题。 那么它是什么样子呢?其实很简单,比我们前面提到的...最新发布 影响深度卷积神经网络算法的关键参数是网络结构局部连接的概念参考局部感受域，即某个视神经元仅考虑某一个小区域的视觉输入，因此相比普通神经网络的全连接层（下一层的某一个神经元需要与前一层的所有节点连接），卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域（比如某个3*3的方块）。卷积神经网络的连接性：卷积神经网络中卷积层间的连接被称为稀疏连接（sparse connection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。继续访问卷积神经网络难点梳理目录1 基本概念及原理1.1 基本概念1.2 基本原理2 卷积是怎么“卷”的2.1 数学中的卷积2.2 CNN中的卷积3 损失函数是怎样当好指挥官的4 梯度下降、反向传播和显卡参考内容 1 基本概念及原理 1.1 基本概念 概念名称 目的 操作 示意图 卷积(Convolution) 提取特征 将图像矩阵遍历乘以卷积核矩阵并输出 池化(Pooling) 降低数据量 对小块矩阵中的所有数取平均（平均池化）或者取最大（最大池化）并只输出一个值，再遍历 激活(Activation) 对继续访问卷积神经网络的缺点_辽宁大学的博客_卷积神经网络的优缺点1.做卷积神经网络需要将数据集归一化。不同的尺寸混合在一起难以训练。2.卷积神经网络没有记忆功能。3.对图像处理很友善,对视频语音自然语言处理能力差...关于CNN卷积神经网络的问题_麦格芬230的博客将卷积神经网络CNN应用到文本分类任务,利用多个不同大小的卷积核来提取句子中的关键信息(类似于多窗口大小的N-gram),从而能够更好地捕捉局部相关性。 4.在情感分析任务中,TextCNN的卷积核,卷积的是哪些向量呢?卷积卷的是这些向量的什么...深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题（二）过拟合 梯度弥散 batchsize 不平衡数据集继续访问cnn卷积神经网络反向传播,卷积神经网络维度变化深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[2]，而人工神经网络的历史更为久远。1989年，燕乐存（YannLeCun）等人开始将1974年提出的标准反向传播算法[3]应用于深度神经网络，这一网络被用于手写邮政编码识别。尽管算法可以成功执行，但计算代价非常巨大，神经网路的训练时间达到了3天，因而无法投入实际使用[4]。...继续访问卷积神经网络CNN特点功能及其缺陷_一只不出息的程序员的博客...卷积:简单地说,图像经过平移,相应的特征图上的表达也是平移的。 下图只是一个为了说明这个问题的例子。输入图像的左下角有一个人脸,经过卷积,人脸的特征(眼睛,鼻子)也位于特征图的左下角。 在神经网络中,卷积被定义为不同位置的特征...记录 训练卷积神经网络时遇到的问题_后知后觉w的博客记录 训练卷积神经网络时遇到的问题 问题1、softmax分类的loss最后会停在0.6931这个值 原因分析:在分类层使用了keras.layers.Lambda,导致分类器没有可训练的参数,因此没有分类能力,即,无论是否为object,softmax的输出都是0.5,根据loss...都说卷积神经网络是个好东西，但它有什么弊端呢?图片来源：Mathworks翻译 | 王赫编辑 | Donna2012年，三位深度学习的“巨人”Alex Krizhevsky, Ilya Sutskever 和 Geoffrey Hinton，联合发表了题为 “ImageNet Classification with Deep Convolutional Networks” 的论文。自此，卷积神经网络( CNNs )就成了一个万人追捧的工具，并继续访问卷积神经网络—全连接层卷积神经网络—全连接层 全连接层 全连接层与卷积层 全连接层与GAP（全局平均池化层） [1] [2] [3] https://www.zhihu.com/question/410379...继续访问五、卷积神经网络CNN5(卷积相关问题2)_满满myno的博客输出深度(通道)与卷积核(过滤器)的个数相等。 激活函数通常放在卷积神经网络的那个操作之后 通常放在卷积层之后。 如何理解最大池化层有几分缩小 池化层:对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面 ...卷积神经网络的缺点（1）效果好是因为仿生学，缺点是无法扩展到平面视觉以外的地方吧。 （2）缺点一：实现比较复杂。缺点二：训练所需时间比较久。 （3）不是单一算法,不同的任务需要单独训练 （4）世界(物理空间、解空间等)是连续且局部平坦的+规律/特征具有时空局部平移不变性，即世界存在局部平移不变的统计规律 举个例子：在地球表面某局部画三角形，发现内角和总是等于180，并且随便跑到地球的哪里都是如此，但是如果你继续访问神经网络 卷积神经网络,卷积神经网络常见问题卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。...继续访问卷积神经网络（CNN）入门常见问题解答目录 什么是神经元？ 激活函数的作用？ 什么是神经网络？ CNN怎么进行识别？ 计算机如何识别图像？ CNN如何更准确人性化的对比图像？ 什么是卷积操作？ 感谢作者： CNN笔记：通俗理解卷积神经网络_v_JULY_v的博客-CSDN博客_卷积神经网络通俗理解 什么是神经元？ 神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称...继续访问卷积神经网络——解决参数太多问题一、全连接网路的局限性 图像变大导致色彩书变多，不好解决 不便处理高维数据 对于比较复杂的高维数据，如果按照全连接的方法，则只能通过增加节点、增加层数的方式来解决。增加节点会引起参数过多的问题。由于隐藏层神经网络使用的是sigmod或tanh激活函数，其反向传播的有效成层数只能在4~6层左右。 二、理解卷积神经网络 三、网络结构 卷积神经网络的结构与全连接网络相比复杂很多。它的网络结构主要包括卷积层、池化层。细节又可以分为滤波器、步长、卷积操作、池化操作。 1.网络结构描述 对于一般的图片会使用多个卷积继续访问人工智能深度学习卷积神经网络入门"java大数据人工智能培训学校全套教材"系列课程由1000集视频构成，基本就 是1）时下流行的java培训学校主流内部教材，2）和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来，等于上了培训学校一次，完全可以找个java工程师的工作了。
通过学习卷积神经网络概述，为什么引入神经网络来做识别，判断，预测，训练模型，激活函数，sigmoid激活函数，导数和切线，sigmoid激活函数如何求导，链式法则，梯度，梯度下降法与delta法则，BP（back propagation）误差逆传播神经网络，卷积到底有什么作用？如何做到特征提取，池化的名字由来，dropout，Anaconda Prompt的用法，Jupyter notebook的用法，Spyder的用法，建立安装Tensorflow所需的Anaconda虚拟环境，如何在Anaconda虚拟环境安装Tensorflow与Keras概念等让大家对人工智能，卷积神经网络快速入门。
课程特色：专业细致，偏案例，理论强。
课程软件使用：Anaconda，Spyder，Jupyter notebook
重要声明：
1） 如果感觉噪音大，可以选择不用耳机，加音箱或用电脑原声
2） 既然我们的名字叫人工智能深度学习卷积神经网络入门，这个课程的特点就在于成本最低的， 让你最快速的，最容易的入门。人工智能深度学习卷积神经网络入门的最大的难点在于入门入不了，从而最终放弃。俗话说师傅领进门，修行在个人。只要入了门了，后面的事都好办。选课前，务必注意本章的学习目标和内容。想学更多，注意后边的课程。继续访问python卷积神经网络回归预测_回归[keras]的一维卷积神经网络,做在上一篇博客里我介绍了如何利用keras对一个给定的数据集来完成多分类任务。100%的分类准确度验证了分类模型的可行性和数据集的准确度。在这篇博客当中我将利用一个稍加修改的数据集来完成线性回归任务。相比较以往的线性回归处理方式，我认为使用神经网络实现线性回归要简单和准确得多。数据集大小仍然是247*900，不同的是数据集的第247位变成了湿度特征的真实湿度值。不同于分类算法得到的决策面，回归算法得...继续访问卷积神经网络之全连接层大多数内容来源于 ：卷积神经网络中的全连接层 全连接层的作用是： 连接所有的特征，将输出值送给分类器 (如softmax分类器)，其将卷积输出的二维特征图转化成 (N * 1)一维的一个向量。 最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，又进行了一次池化操作，输出了20个 12*12 的图像（20指最后一层的厚度），然后通过了一个全连接层变成了 1*100 的向量（第一个全连接层神...继续访问人工神经网络的功能特点,神经网络的优缺点此时，网络学习了过多的样本细节，而不能反映样本内含的规律由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；多层前向BP网络的问题：从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。第三，具有高速寻找优化解的能力。...继续访问【Keras】卷积神经网络数据回归预测实战基于卷积神经网络的数据回归预测继续访问热门推荐 反向传播算法（过程及公式推导）反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。继续访问深度学习---卷积神经网络解决分类与回归问题一、CNN神经网络的发展史： Lenet，1986年 Alexnet，2012年 2012年，Imagenet比赛冠军的model——Alexnet [2]（以第一作者alex命名），AlexNet 是一种典型的 convolutional neural network，它由5层 convolutional layer，2层 fully connected layer，和最后一层 label layer (1000个node, 每个node代表ImageNet中的一个类别) 组成 GoogleNet继续访问深度学习之卷积神经网络CNN详细计算机视觉、自然语言处理等领域(图像分类、图像分割、图像检测、文本继续访问一文让你彻底了解卷积神经网络目录 卷积层 直观理解卷积 卷积计算流程 计算过程： 思考： 池化层（PoolingLayer） 卷积神经网络的组成 前向传播与反向传播 卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出
小西：小迪小迪，我发现人工智能发展史上很多事情都跟下棋有关呐。 小迪：是啊，人工智能发展史还是要从下棋说起，棋类游戏很多时候都被人类看做高智商游戏，在棋类游戏中让机器与人类博弈自然再好不过了。早在1769年，匈牙利作家兼发明家Wolfgang von Kempelen就建造了机器人TheTurk，用于与国际象棋高手博弈，但是最终被揭穿，原来是机器人的箱子里藏着一个人。虽然这是个，但是也体现了棋类游戏是人机博弈中的焦点。 小西：哇，这么早啊！ 小迪：是啊，在1968年上映的电影《2001太空漫游》里，有个情节是机器人HAL与人类Frank下国际象棋，最终人类在机器人面前甘拜下风。 小西：哈哈，看来很早人们就觉得有一天，机器人会在下棋方面超过人类哦。 小迪：是啊，直到1997年，IBM的深蓝智能系统战胜了国际象棋世界冠军Kasparov，这是一次正式意义上的机器在国际象棋领域战胜了人类。不过，当时时代杂志发表的文章还认为，计算机想要在围棋上战胜人类，需要再过上一百年甚至更长的时间。因为围棋相比于国际象棋复杂很多，而IBM的深蓝也只是一个暴力求解的系统，当时的计算机能力在围棋千千万万种变化情况下取胜是不可能的。 小西：后来我知道。没有过100年，20年后AlphaGo在20年后的2016年打败了围棋高手李世石，这下人工智能引起了全世界的关注。 小迪：恭喜你，学会抢答了！ 小西：哈哈，过奖过奖。除了下棋，人工智能发展史上有没有什么特别著名的事件或者有名的大师呢，快给我科普科普呀！ 小迪：那可就太多了啊，无数科学家默默地耕耘才有了今天智能化的社会，三天三夜都说不完。我就说说近些年火爆的深度学习的发展史吧。 小西：好，洗耳恭听呢！ 感知器的发明 1943年Warren McCulloch和Walter Pitts一起提出计算模型，在1957年康奈尔大学的Frank Rosenblatt提出了感知器的概念，这是整个深度学习的开端，感知器是第一个具有自组织自学习能力的数学模型。Rosenblatt乐观地预测感知器最终可以学习，做决定和翻译语言。感知器技术在六十年代非常火热，受到了美国海军的资金支持，希望它以后能够像人一样活动，并且有自我意识。 第一次低潮 Rosenblatt有一个高中校友叫做Minsky，在60年代，两人在感知器的问题上吵得不可开交。R认为感知器将无所不能，M觉得感知器存在很大的缺陷，应用有限。1969年，Minsky出版了新书《感知器：计算几何简介》，这本书中描述了感知器的两个重要问题： 单层神经网络不能解决不可线性分割的问题，典型例子：异或门；当时的电脑完全没有能力承受神经网络的超大规模计算。 随后的十多年，人工智能转入第一次低潮，而Rosenblatt也在他43生日时，因海事丧生，遗憾未能见到神经网络后期的复兴。 Geoffrey Hinton与神经网络 1970年，此时的神经网络正处于第一次低潮期，爱丁堡大学的心理学学士Geoffrey Hinton刚刚毕业。他一直对脑科学非常着迷，同学告诉他，大脑对事物和概念的记忆，不是存储在某个单一的地方，而是分布式的存在一个巨大的神经网络中。分布式表征让Hinton感悟很多，随后的多年里他一直从事神经网络方面的研究，在爱丁堡继续攻读博士学位的他把人工智能作为自己的研究领域。 Rumelhart与BP算法 传统的神经网络拥有巨大的计算量，上世纪的计算机计算能力尚未能满足神经网络的训练。1986年7月，Hinton和David Rumelhart合作在Nature杂志上发表论文系统地阐述了BP算法： 反向传播算法（BP）把纠错运算量下降到只和神经元数目有关；BP算法在神经网络中加入隐层，能够解决非线性问题。 BP算法的效率相比传统神经网络大大提高，计算机的算力在上世纪后期也大幅提高，神经网络开始复苏，引领人工智能走向第二次辉煌。 Yann Lecun与卷积神经网络 1960年Yann Lecun在巴黎出身，在法国获得博士学位后，追随Hinton做了一年博士后，随后加入贝尔实验室。在1989年，Lecun发表论文提出卷积神经网络，并且结合反向传播算法应用在手写邮政编码上，取得了非常好的效果，识别率高达95%。基于这项技术的支票识别系统在90年代占据了美国接近20%的市场。 但也是在贝尔实验室，Yann Lecun的同事Vladmir Vapnik的研究又把神经网络的研究带入了第二个寒冬。 Hinton与深度学习 2003年，Geoffrey Hinton在多伦多大学苦苦钻研着神经网络。在与加拿大先进研究院（CIFAR）的负责人Melvin Silverman交谈后，负责人决定支持Hinton团队十年来进行神经网络的研究。在拿到资助后，Hinton做的第一件事就是把神经网络改名为深度学习。此后的一段时间里，同事经常会听到Hinton在办公室大叫：“我知道神经网络是如何工作的了！” DBN与RBN 2006年Hinton与合作者发表论文——《A Fast Algorithm for Deep BeliefNet》（DBN）。这篇文章中的算法借用了统计力学中“波尔兹曼分布”的概念，使用了所谓的“受限玻尔兹曼机”，也就是RBN来学习。而DBN也就是几层RBN叠加在一起。RBN可以从输入数据进行预训练，自己发现重要的特征，对神经网络的权重进行有效的初始化。这里就出现了另外两个技术——特征提取器与自动编码器。经过MNIST数据集的训练后，识别错误率最低降到了只有1.25%。 吴恩达与GPU 2007年，英伟达推出cuda的GPU软件接口，GPU编程得以极大发展。2009年6月，斯坦福大学的Rajat Raina和吴恩达合作发表文章，论文采用DBNs模型和稀疏编码，模型参数高达一亿，使用GPU运行速度训练模型，相比传统双核CPU最快时相差70倍，把本来需要几周训练的时间降到了一天。算力的进步再次加速了人工智能的快速发展。 黄仁勋与GPU 黄仁勋也是一名华人，1963年出生于台湾，在1993年于斯坦福毕业后创立了英伟达公司，英伟达起家时主要做图像处理芯片，后来黄仁勋发明GPU这个词。相比于CPU架构，GPU善于大批量数据并行处理。而神经网络的计算工作，本质上就是大量的矩阵计算的操作，GPU的发展为深度学习奠定了算力的基础。 李飞飞与ImageNet 深度学习的三大基础——算法，算力和数据。上面提到的主要是算法与算力的发展，而数据集在深度学习发展也起到了至关重要的作用。又是一位华人学者——李飞飞，于2009年建立ImageNet数据集，以供计算机视觉工作者使用，数据集建立的时候，包含320个图像。2010年，ILSVRC2010第一次举办，这是以ImageNet为基础的大型图像识别大赛，比赛也推动了图像识别技术的飞速发展。2012年的比赛，神经网络第一次在图像识别领域击败其他技术，人工智能步入深度学习时代，这也是一个历史性的转折点。 Yoshua Bengio与RELU 2011年，加拿大学者Xavier Glorot与Yoshua Bengio联合发表文章，在算法中提出一种激活函数——RELU，也被称为修正线性单元，不仅识别错误率普遍降低，而且其有效性对于神经网络是否预训练过并不敏感。而且在计算力方面得到提升，也不存在传统激活函数的梯度消失问题。 Schmidhuber与LSTM 其实早在1997年，瑞士Lugano大学的Suhmidhuber和他的学生合作，提出了长短期记忆模型（LSTM）。LSTM背后要解决的问题就是如何将有效的信息，在多层循环神经网络传递之后，仍能传送到需要的地方去。LSTM模块，是通过内在参数的设定，决定某个输入参数在很久之后是否还值得记住，何时取出使用，何时废弃不用。 后记 小迪：其实还有好多有突出贡献的的大师，要是都列出来可以出一本很厚很厚的书啦！ 小西：这些大师都好厉害呀，为了我们的智能化生活体验，辛勤付出了一辈子。 小迪：是啊，还有很多学者默默无闻地工作，一生清苦。 小西：他们都好伟大，有突出贡献的都应该发奖发奖金，对对对，诺贝尔奖！ 小迪：哈哈。诺贝尔奖多数是为基础学科设立的。不过计算机界也有“诺贝尔奖”——图灵奖，这可是计算机界最高奖项哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同获得了2018年的图灵奖。 小西：太棒了，实至名归！ 小迪：当然，图灵奖在此之前也授予了很多在人工智能领域的大牛，像Minsky，John McCarthy这些，还有华人科学家，现在在清华大学任职从事人工智能教育的姚期智先生在2000也获得过图灵奖呢！ 小西：大师们太不容易了，我们也要好好学习呀！ 小迪：是呀！如今我们站在巨人的肩膀上，许多人都可以接触到深度学习，机器学习的内容，不管是工业界还是学术界，人工智能都是一片火热！ 小西：希望这一轮人工智能的兴起不会有低潮，一直蓬勃发展下去，更好地造福人类。 小迪：嗯！
1. 1943年神经科学家warren McCulloch和数学逻辑家Walter Pitts提出MP神经元模型。 2. 1957年美国康奈尔航空实验室的Frank Rosenblatt在MP模型的基础上发明了一种叫做“感知器”的神经网络算法，并在一台IBM-704上成功实现。 3. 1969年人工智能先驱Marvin Minsky和Seymour Papert出版了《感知器》一书，提出并证明了单层的感知器无法处理不可线性分割的问题。如异或逻辑。 4. 1974年哈弗大学的Paul Webbos提出将反向传播算法（BP算法）的思想应用于神经网络。 5. 1986年Rumelhart、Hinton、Williams在《自然》杂志上发表了Learning Internal Repressentation by Backpropagation of Errors.指出在神经网络中增加一个 隐藏层，并用反向传播算法可以解决Minsky等人提出的多层神经网络不能解决异或逻辑的问题。阻碍神经网络发展的魔咒被打破 6. 1989年,Yann LeCun运用卷积神经网络对美国手写邮政编码进行训练和识别，在独立样本测试中达到了5%的错误率。 7. 1991年，德国的SeppHochreiter指出，当BP算法中成本函数反向传播时，每经过一层，梯度以相乘的方式叠加到前层，梯度在经过若干层反向传播后会变得极小 趋于0，存在梯度消失的问题。 8.2006年Hitton等人发表了一篇名为A Fast Learning Algorithm for Deep Belief Nets的论文，提出使用玻尔兹曼分布构造了两层玻尔兹曼机进行无监督的预训练 以此来对权值进行初始化，然后使用反向传播算法对权值进行微调，这一策略在一定程度上克服了梯度消失的问题。 9.2011年加拿大蒙特利尔大学的Xavier Glorot 和Yoshua Bengio在Deep sparse Rectangle Neural Networks的论文中提出一种被称为“修正线性单元”RELU的激活函数 ，该激活函数的导数为常数，在误差反向传播计算中不存在sigmoid的传统激活函数所固有的梯度消失问题。从根本上解决了阻碍神经网络发展的梯度消失难题。 10. 2012年Hinton在论文Improving neural networks by preventing co-adaptation of feature detectors中提出使用“丢弃Dropout”算法来解决神经网络 中存在过度拟合的问题。
1、the outsiders 中文名称：小教父 别名：局外人/被摒弃的人2、电影——剧情简介：《局外人》是弗朗西斯·福特·科波拉 执导的剧情 犯罪类美国电影。由Matt Dillon，Ralph Macchio主。影片讲述了60年代的塔尔萨城，城里的学生分属于南北两个帮派（Socs and Greasers)。南帮(Socs)的成员主要是住在城南的中产阶级学生，而住在贫民区的出身贫寒的学生则属于北帮(Greasers)。南北两帮的人都瞧对方不顺眼，双方积怨颇深，打架斗殴是家常便饭。波尼博伊(Ponyboy Curtis)是个孤儿，14岁，他和16岁的约翰尼(Johnnycade)，还有比他们年龄稍大的达拉斯(Dallas,简称Dally)属于北帮Greasers。文学——《局外人》是加缪的成名作，也是存在主义文学的代表作品。它形象地体现了存在主义哲学关于“荒谬”的观念；《局外人》以“今天，妈妈死了，也许是昨天，我不知道”开始，以“我还希望处决我的那一天有很多人来看，对我发出仇恨的喊叫声”结束。小说以这种不动声色而又蕴含内在力量的平静语调为我们塑造了一个惊世骇俗的“荒谬的人”：对一切都漠然置之的莫尔索。由于人和世界的分离，世界对于人来说是荒诞的、毫无意义的，而人对荒诞的世界无能为力，因此不抱任何希望，对一切事物都无动于衷。整本书的结尾也是书的开头，"When I stepped out into the bright sunlight from the darkness of the movie house, I had only two things on my mind: Paul Newman and a ride home..." （翻译：”当我从电影院的黑暗走到明亮的阳光下，我的脑里只有两件事：保罗·纽曼和回家。。。“）3、作者介绍：阿尔贝·加缪(Albert Camus，1913～1960)，法国作家、哲学家。1957年获得诺贝尔文学奖。1960年在一次车祸中不幸身亡。加缪是荒诞哲学及其文学的代表人物，他的代表作《局外人》与同年发表的哲学论文集《西西弗的神话》，曾在欧美产生巨大影响。加缪的文笔简洁、明快、朴实，他的文学作品总是同时蕴含着哲学家对人生的严肃思考和艺术家的强烈激情。其哲学和文学作品对后期的荒诞派戏剧和新小说影响很大。评论家认为加缪的作品体现了适应工业时代要求的新人道主义精神。萨特说他在一个把现实主义当作金牛膜拜的时代里，肯定了精神世界的存在。
60代的塔尔萨城，城里的学生分属于南北两个帮派。南帮的成员主要是住在城南的中产阶级学生，而住在贫民区的出身贫寒的学生则属于北帮。南北两帮的人都瞧对方不顺眼，双方积怨颇深，打架斗殴是家常便饭。波尼博伊是个孤儿，14岁，他和16岁的约翰尼，还有比他们年龄稍大的达拉斯斗属于北帮。一天晚上，南北两帮的人又大打出手，波尼博伊差点在水池中丢了命，而约翰尼则在自卫时将鲍勃杀死。两人请求达拉斯帮忙，达拉斯遂将他们藏在郊区的一座久已废弃的教堂中。在废弃的教堂中，波尼博伊和约翰尼背诵诗歌，读小说《飘》，在谈论中向往着一个理想世界：那里既没有城南帮也没有城北帮。这时，城里的教堂失火了，三个人冲进了雄雄大火，将困在火中的孩子们救了出来，而约翰尼和达拉斯却在火中受了伤。第二天晚上大雨瓢泼，新一轮的械斗再次展开，城北帮最终取得了胜利。但在斗殴中达拉斯被警察打死，约翰尼也因伤势过重死在了医院。幸存者波尼博伊打开了《飘》，在书里，他发现了约翰尼留给他的诀别书。若满意请采纳!
戴维.亨顿是20世纪第一位将中国古代最著名的四部哲学典籍《论语》《孟子》《道德经》和《庄子》独自全部译成英语的西方翻译家。亨顿用通俗、自然、清新、简朴的语言把孔孟老庄博大玄妙的思想展现给西方普通读者,为当代西方英语读者了解中国传统文化打开了一扇窗口。
“很多昆虫在幼虫形态的时候是最擅长从环境中吸取能量和养分的，而当他们成长为成虫的时候则需要擅长完全不同能力比如迁移和繁殖。”在2014年Hinton发表的知识蒸馏的论文中用了这样一个很形象的比喻来说明知识蒸馏的目的。在大型的机器学习任务中，我们也用两个不同的阶段 training stage 和 deployment stage 来表达两种不同的需求。training stage（训练阶段）可以利用大量的计算资源不需要实时响应，利用大量的数据进行训练。但是在deployment stage （部署阶段）则会有很多限制，比如计算资源，计算速度要求等。知识蒸馏就是为了满足这种需求而设计的一种模型压缩的方法。
知识蒸馏的概念最早是在2006年由Bulica提出的，在2014年Hinton对知识蒸馏做了归纳和发展。知识蒸馏的主要思想是训练一个小的网络模型来模仿一个预先训练好的大型网络或者集成的网络。这种训练模式又被称为 "teacher-student"，大型的网络是“老师”，小型的网络是“学生”。
在知识蒸馏中，老师将知识传授给学生的方法是：在训练学生的过程中最小化一个以老师预测结果的概率分布为目标的损失函数。老师预测的概率分布就是老师模型的最后的softmax函数层的输出，然而，在很多情况下传统的softmax层的输出，正确的分类的概率值非常大，而其他分类的概率值几乎接近于0。因此，这样并不会比原始的数据集提供更多有用的信息，没有利用到老师强大的泛化性能，比如，训练MNIST任务中数字‘3’相对于数字‘5’与数字‘8’的关系更加紧密。为了解决这个问题，Hinton在2015年发表的论文中提出了‘softmax temperature’的概念，对softmax函数做了改进： 这里的 就是指 temperature 参数。当 等于1 时就是标准的softmax函数。当 增大时，softmax输出的概率分布就会变得更加 soft（平滑），这样就可以利用到老师模型的更多信息（老师觉得哪些类别更接近于要预测的类别）。Hinton将这样的蕴含在老师模型中的信息称之为 "dark knowledge"，蒸馏的方法就是要将这些 "dark knowledge" 传给学生模型。在训练学生的时候，学生的softmax函数使用与老师的相同的 ，损失函数以老师输出的软标签为目标。这样的损失函数我们称为"distillation loss"。
在Hinton的论文中，还发现了在训练过程加上正确的数据标签（hard label）会使效果更好。具体方法是，在计算distillation loss的同时，我利用hard label 把标准的损失（ ）也计算出来，这个损失我们称之为 "student loss"。将两种 loss 整合的公式如下：
这里的 是输入， 是学生模型的参数， 是交叉熵损失函数， 是 hard label ， 是参数有 的函数， 是系数， 分别是学生和老师的logits输出。模型的具体结构如下图所示：
在上述公式中， 是作为超参数人为设置的，Hinton的论文中使用的 的范围为1到20，他们通过实验发现，当学生模型相对于老师模型非常小的时候， 的值相对小一点效果更好。这样的结果直观的理解就是，如果增加 的值，软标签的分布蕴含的信息越多导致一个小的模型无法"捕捉"所有信息但是这也只是一种假设，还没有明确的方法来衡量一个网络“捕捉”信息的能力。关于 ，Hinton的论文中对两个loss用了加权平均： 。他们实验发现，在普通情况下 相对于 非常小的情况下能得到最好的效果。其他人也做了一些实验没用加权平均，将 设置为1，而对 进行调整。
Hinton的论文中做了三个实验，前两个是MNIST和语音识别，在这两个实验中通过知识蒸馏得到的学生模型都达到了与老师模型相近的效果，相对于直接在原始数据集上训练的相同的模型在准确率上都有很大的提高。下面主要讲述第三个比较创新的实验：将知识蒸馏应用在训练集成模型中。
训练集成模型（训练多个同样的模型然后集成得到更好的泛化效果）是利用并行计算的非常简单的方法，但是当数据集很大种类很多的时候就会产生巨大的计算量而且效果也不好。Hinton在论文中利用soft label的技巧设计了一种集成模型降低了计算量又取得了很好的效果。这个模型包含两种小模型：generalist model 和 specialist model（网络模型相同，分工不同）整个模型由很多个specialist model 和一个generalist model 集成。顾名思义generalist model 是负责将数据进行粗略的区分（将相似的图片归为一类），而specialist model（专家模型）则负责将相似的图片进行更细致的分类。这样的操作也非常符合人类的大脑的思维方式先进行大类的区分再进行具体分类，下面我们看这个实验的具体细节。 实验所用的数据集是谷歌内部的JFT数据集，JFT数据集非常大，有一亿张图片和15000个类别。实验中 generalist model 是用所有数据集进行训练的，有15000个输出，也就是每个类别都有一个输出概率。将数据集进行分类则是用Online k-means聚类的方法对每张图片输入generalist model后得到的软标签进行聚类，最终将3%的数据为一组分发给各个specialist，每个小数据集包含一些聚集的图片，也就是generalist认为相近的图片。 在specialist model的训练阶段，模型的参数在初始化的时候是完全复制的generalist中的数值（specialist和generalist的结构是一模一样的），这样可以保留generalist模型的所有知识，然后specialist对分配的数据集进行hard label训练。但是问题是，specialist如果只专注于分配的数据集（只对分配的数据集训练）整个网络很快就会过拟合于分配的数据集上，所以Hinton提出的方法是用一半的时间进行hard label训练，另一半的时间用知识蒸馏的方法学习generalist生成的soft label。这样specialist就是花一半的时间在进行小分类的学习，另一半的时间是在模仿generalist的行为。 整个模型的预测也与往常不同。在做top-1分类的时候分为以下两步： 第一步：将图片输入generalist model 得到输出的概率分布，取概率最大的类别k。 第二步：取出数据集包含类别k的所有specialists，为集合 （各个数据集之间是有类别重合的）。然后求解能使如下公式最小化的概率分布q作为预测分布。
这里的KL是指KL散度（用于刻画两个概率分布之间的差距） 和 分别是测试图片输入generalist 和specialists(m)之后输出的概率分布，累加就是考虑所有属于 集合的specialist的“意见”。
由于Specialist model的训练数据集很小，所以需要训练的时间很短，从传统方法需要的几周时间减少到几天。下图是在训练好generalist模型之后逐个增加specialist进行训练的测试结果：
从图中可以看出，specialist个数的增加使top1准确个数有明显的提高。
本文结合Hinton在2014年发表的论文对知识蒸馏和相关实验做了一个简单的介绍，如今很多模型都用到了知识蒸馏的方法，但知识蒸馏在深度学习中还是非常新的方向，还有非常多的应用场景等待研究。
项目地址：
[1]Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015. [2] [3]
谷歌的AlphaGo与柯杰的大战已经结束数日，而DeepMind承诺的50分棋谱也已经公布，而作为当前最先进的计算机“技术”，有限元方法有没有与机器学习（人工智能）进一步结合并碰发出绚丽的“火花”呢？？答案是肯定的！！！ 什么是人工智能 人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。 机器学习是人工智能的一个分支，简单地说，就是通过算法，使机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来进行预测。 常见的机器学习算法如： ✔神经网络（Neural Network） ✔支持向量机(Support Vector Machines, SVM)Boosting ✔决策树（Decision Tree） ✔随机森林（Random Forest） ✔贝叶斯模型（Bayesian Model）等。 早期的机器学习算法由于受到理论模型和计算资源的限制，一般只能进行浅层学习，只在搜索排序系统、垃圾邮件过滤系统、内容推荐系统等地方有所应用。 而之后发生的几件事，掀起了深度学习的浪潮。一件是2006年，加拿大多伦多大学教授Hinton和他的学生Salakhutdinov在Science上发表了一篇文章，揭示了具有多个隐层的神经网络（即深度神经网络）优异的学习性能，并提出可以通过“逐层初始化”技术，来降低深度学习网络训练的难度； 第二件事是在2012年 底，Geoff Hinton 的博士生 Alex Krizhevsky、Ilya Sutskever利用卷积神经网络（Convolutional Neural Network, CNN）在图片分类的竞赛 ImageNet 上，击败了拥有众多人才资源和计算资源的Google，拿到了第一名。 如今机器学习已深入到包括语音识别，图像识别，数据挖掘等诸多领域并取得了瞩目的成绩。 有限元法的发展简史 有限元方法（FEA）即有限单元法，它是一种数值分析(计算数学)工具，但不是唯一的数值分析工具。在工程领域还有其它的数值方法，如：有限差分法、边界元方法、有限体积法。 有限单元法已成为一种强有力的数值解法来解决工程中遇到的大量问题，其应用范围从固体到流体，从静力到动力，从力学问题到非力学问题。事实上，有限单元法已经成为在已知边界条件和初始条件下求解偏微分方程组的一般数值方法。 有限单元法在工程上的应用属于计算力学的范畴，而计算力学是根据力学中的理论，利用现代电子计算机和各种数值方法，解决力学中的实际问题的一门新兴学科。它横贯力学的各个分支，不断扩大各个领域中力学的研究和应用范围，同时也在逐渐发展自己的理论和方法。 神经网络与力学 其实，在深度学习浪潮掀起之前，力学和工程领域早已开始在计算力学研究中结合神经网络模型，开发出更优的算法，一个典型的例子便是有限元神经网络模型。 由于在实际工程问题中存在大量的非线性力学现象，如在结构优化问题中，需要根据需求设计并优化构件结构，是一类反问题，这些非线性问题难以用常规的方法求解，而神经网络恰好具有良好的非线性映射能力， 因而可得到比一般方法更精确的解。 将有限元与神经网络结合的方法有很多，比如针对复杂非线性结构动力学系统建模问题，可以将线性部分用有限元进行建模，非线性构件用神经网络描述（如输入非线性部件状态变量，输出其恢复力），再通过边界条件和连接条件将有限元模型部分和神经网络部分结合，得到杂交模型。 另一种方法是首先通过有限元建立多种不同的模型，再将模态特性（即最终需要达到的设计要求）作为输入变量，将对应的模型结构参数作为输入变量，训练神经网络，利用神经网络的泛化特性，得到设计参数的修正值。 结合Monter Carlo方法，进行多组有限元分析，将数据输入神经网络中进行训练，可以用来分析结构的可靠度。 已有研究成果 [1]余凯,贾磊,陈雨强,徐伟. 深度学习的昨天、今天和明天[J]. 计算机研究与发展,2013,09:1799-1804. [2]周春桂,张希农,胡杰,谢石林. 基于有限元和神经网络的杂交建模[J]. 振动工程学报,2012,01:43-48. [3]费庆国,张令弥. 基于径向基神经网络的有限元模型修正研究[J]. 南京航空航天大学学报,2004,06:748-752. [4]许永江,邢兵,吴进良. 基于有限元-神经网络-Monte-Carlo的结构可靠度计算方法[J]. 重庆交通大学学报(自然科学版),2008,02:188-190+216. 未来的一些方向 1、图形显示方面（有限元与AR&VR） 随着有限元计算涉及的领域以及计算的规模不断增大，计算结果的高效、高质量的前后处理也随之成为了一个问题。 AR&VR在图形化数据展示方面，将我们从显示屏解放出来，可以以一种更加直观的方式查看计算分析数据，未来在分析结果VR展示方面，会有较大的突破。 国内也有学者已经展开了相关方面的研究，比如《虚拟现实环境中有限元前后处理功能实现》等论文，有限元虚拟处理技术(FEMVR)也开始逐步进入相关软件领域，例如：ANSYS COMSOL可以和MATLAB做交互，新版MATLAB内置了一些人工智能算法。 2、有限元与大数据、云计算 计算规模增大，伴随着计算机能力的提升，随之而来的云计算，解脱了对于计算机硬件的束缚，对于可以放开规模与数量的分析计算，有限元与大数据以及云计算的碰撞，对于未来问题的解决，将有一个质的飞跃，量变到质变的直观体现，在有限元与大数据中会有一个绚丽的展示。 3、有限元与人工智能 人工智能作为全球热的技术，与“古老”的有限元之间，相信可以在老树上发新芽，而我们可以欣喜的看到，相关的研究也已经开展，期待未来对于现实问题的解决，能有更好的更优的方案。 4、CAD数据与CAE数据的无缝对接 目前等几何分析（Isogeometric Analysis, IGA）的发展热度来看，将CAD中用于表达几何模型的NURBS基函数作为形函数，克服FEA中模型精度损失的问题，实现CAD和CAE的无缝结合，是一个很有前途和潜力的发展方向。 5、CAE与MBD的深度融合 未来CAEFEM可能会与多体动力学仿真（MBS）软件深度整合起来。实际系统中某些运动部件的弹性无法忽略，甚至是主要动力学行为的来源，所以就产生了柔性多体动力学仿真这个需求，这样只需要定义相关部件的受力和边界条件，其余的都是内部作用，仿真即节省工作量又较为真实可信。而且现在的确有很多MBS软件里面可以把部件建成弹性体，如LMS Virtual Lab，Simpack等等，但过程没有那么傻瓜；除了简单的梁、轴等零件，复杂形状的零件要依赖FEM软件事先生成的数据文件。 6、网格工作的智能化，傻瓜化 将来对弹性体建模可能更加傻瓜，先把刚性多体系统模型建起来，然后在建模环境（前处理）中直接make body flexible，系统可以根据这个部件的形状、材料、边界条件等选择合适的网格类型，并把运动和力的作用点couple到对应的节点（组）上。比如说汽车悬挂系统仿真，在一个工作环境下就能把某个部件的应力校核给做了，而不需要说搞多体建模的人要把边界力生成一个load case再发给专门的FEM工程师去做。 （部分来自知乎） 如何追上有限元的发展 任何技术的进步，都要在实践中展示技术的威力，有限元的发展，会随着技术的进步，特别是计算机技术的进步，在未来无论是应用软件的研究还是智能程序的开发，都将有无限的机会与可能。 积极学习新技术，新方法，在应用领域，关注有限元相关软件的新功能。 1、了解热点、跟踪前沿 2、结合实际拓展应用 3、掌握自动化相关技术 想要更多，点击此处
1、想要发表论文，事先要做的就是写好一篇查重率合格，且具备一定价值的论文，论文查重率的具体要求，要根据想要发表的期刊来定，若为普通期刊，则查重率在20%或是30%左右即可，若是核心期刊，则查重率一般要在10%以内。
2、在期刊上发表论文，主要途径就是投稿，最好是通过一些比较熟悉和了解的渠道进行投稿，因为这样通过的概率会更高一些，审批也会比较快，发表的时间也能够往前安排。
3、如果是缺乏有关渠道的，可以向有经验的同学或是学长学姐咨询，也可以向有关的老师询问，一般也能够得到一些可靠的方式方法。
4、对于社内投稿，即在官网投稿系统或邮箱投稿，或者是在知网投稿系统投稿，它对于所有类型的期刊都是合适的，缺乏有关渠道的，也可以通过这种方式进行投稿。
5、还有一类投稿，是社内会公布联系方式，或是在线系统投稿，但是这一类投稿的要求会比较高，对于缺乏经验的投稿人来说，也有可能遇到假冒或是的，因此选择这类投稿方式的，建议事先进行必要的验证，确定无误后在进行投稿。
6、可供大家选择的投稿、发表论文的方式其实有不少，但大家也要对各类方式、途径进行甄别对比，还有非常重要的一点是：不得一稿多投。
以下是发表论文或期刊的方法：
一、写作
首先要写好一篇论文，选题要与专业、研究方向密切相关，论文的格式要规范，应包括题目、作者（姓名、单位、邮编及简介）内容摘要、关键词、正文等；论文篇幅不宜过长，因为期刊版面的字符数是固定的，字符数越多，版面增加，相应的费用就会越高；最后还要注意控制重复率，一般期刊要5%-20%以下才合格录用。
二、选刊
选择一本合适的期刊进行投稿，是成功发表论文极其关键的一步，要遵循几个原则，即
1、 国家新闻出版署能查到的正规期刊；
2、知网、万方、维普、龙源四大数据库之一正常收录的期刊；
3、符合学校、单位要求的期刊；
最后还要考虑论文是否符合期刊的收稿范围，避免因为文章方向不合适出现拒稿的情况。
三、投稿
投稿的途径有两种，一种是通过杂志社邮箱，官网或者在线系统投稿。（注意：数据库和期刊的目录页上面的联系方式才是准确的），虽然这种方式完全不用担心，但缺点是审稿时间较长，沟通不及时，无法了解期刊最新出刊时间，费用，收稿要求等等。
第二种就是找代理投稿 。这个方法也是现在大多数人用的要给方法，为什么会这样的，我只能说谁用谁知道。这个是最简单最省事儿的。以前我就是找的一个文化公司安排文章，服务没得说，只需要提供文章，剩余的事情全由他们搞定。
中介投稿也是有很多优势的
1、刊物比较丰富和全面，各类的刊物都有，可以根据作者的要求快速推荐推荐合适的刊物。
2、 期刊信息非常的全名，从刊物的收稿栏目，出刊时间，版面字符数要求，期刊级别、出刊周期、审核标准、是否可以开社内发票、刊号邮发代号、电子刊号、是否可以查稿、封面以及影响因子区间
3、他们基本上是和杂志社或是承包商直接对接的，沟通速度比较的迅速。
4、查稿后付款。这点已经算是标配了，绝大多数的刊物都是可以查稿后付款的，而且查稿电话是数据库可以查询到的哦 。
5、 最要是不收定金和知道一个刊物的审稿要求和难度。
期刊上发表论文，适合有文章需要发表、但是对投稿一头雾水无从下手的作者，无论是准备自投还是找中介代发，话不多说，下面干货。发表论文的整个流程，简单概括就是：定稿-选择期刊-审核-通过/返修-支付费用-定版-排版校对-印刷-出刊邮寄-上传数据库接下来按照步骤详细说说每个发表环节以及注意事项。定稿：其实就是写论文，这个我也不是专业的，所以不多说，仅从发表的角度简单说几句。1.关于论文主题：如果你的文章是准备用来发表的，尤其是准备投稿普刊，那么有些选题千万不要碰，比如港ao台、疫情、涉党涉政、宗教、神学、封jian迷xin、校园bao力等等，不要问为什么，这类主题写了大概率发表不出去！即便有收的，审核也严格，论文内容不能有不适合刊登的点。总之，发表论文不要只知道埋头苦写，动笔之前先去问问某个主题能不能发、好不好发，不能发、不好发就尽量不要写。2.关于语言逻辑：普刊在大家眼里通常就是要求低，但是要求低不等于没有要求！！文章内容如何就不说了，最起码得是篇论文吧，不能语病、错字一堆，不能毫无逻辑、前言不搭后语，不能让人不知所云，不能过于口语化......所以论文写好后建议自己先通读一遍，如果自己看不出毛病，就找同学、同事、朋友随便谁帮你看看，毕竟一篇连语言基本功都有问题的论文，即便内容写得再好，又有谁愿意看？3.关于起发字符、重复率：现在基本所有正规学术期刊都是5000字符左右/3版起发，能够2版起发的很少，即便遇到了也建议发3版，因为2版的文章后续存在被要求整改的可能。至于重复率，每个期刊的要求不一样，从10%到30%都有，有的期刊审核的时候会查重，有的则文责自负（即万一后续数据库抽查发现重复率过高而导致论文被下架，作者自己负责），这种的就建议自己提前查下，那些杂志社会查重的，如果对自己论文没把握的（特别是复制较多的），也建议提前查下，之前遇到个作者论文审核的时候查重结果直接七八十，这种就很尴尬了，这让编辑怎么想？选择期刊：我个人认为这是发表论文最重要的一个环节，这个说起来很简单，做起来其实很难，很耗费精力和时间。选择期刊分为两步——第一步，大家务必要先弄清楚自己对期刊的要求，尤其是因为评职称、评奖学金、保研等这些原因需要发表论文的，一定要先去看看学校、单位对期刊的具体要求是什么，比如期刊等级，是要普刊、学报还是核心？是不是非知网收录的期刊不可？最晚什么时候需要提交评审材料
如何发表论文如下：
论文发表，一个是可以直接投稿杂志社，一个是可以通过论文代理机构。
费用方面，杂志社肯定要比代理便宜。因为，杂志社只是收取非常小部分的版面费。而代理方面，收取的比较多。
时间方面，杂志社的编辑一般很少自己采集稿件。毕竟，每个编辑其实都会跟很多代理合作。他们会直接从代理方面得到稿件，并且从中抽取部分好处费。代理手中的稿件比较多，所以杂志社的编辑们一般都非常乐于跟他们合作。
关键是，自己也能从中得到额外的收入，何乐而不为。 审稿方面，杂志社不是所有的稿件都给你发。当然，作为代理方，也不可能所有的稿件都能承诺给你发。但是，只要代理方面承诺可以发。那么，就百分之百可以发表了。
毕竟，只要是气候成熟的代理，都会固定的和一些杂志社编辑有长期合作。这样，就会无形中生成一种关系户的效果。
所以，审稿方面，找代理确实要比杂志社容易多。 也就是说，杂志社便宜是便宜，但是没有时间保证，审稿麻烦切周期长。而，代理方面，贵也贵不到哪儿去，审稿速度快，时间短。现在需要发表论文的作者，时间方面大多都比较紧迫，而且论文方面也都比较麻烦。
项目：
校外:可以去的地方有大公司的研究机构(如MSRA IBM CRL等)，有中科研的各个著名院所等。
校内:一种途径是参与校内著名实验室每年定期的暑期实习，比如电信学员的网安实验室,比如材料学院的微纳中心等，一种途径 是自己联系在科研上比如活跃的老师(此如自己的任课老师，
指导老师:找一个好的指导老师很重要,他的作用=好的科研指导+好的科研推荐信+挂高质量论文的机会+给美国教授内推的机会
在日常生活中,无论是评职称还是大学生毕业都离不开发表论文.在公开发行的学术期刊上发表论文,成为职称评选硬性条件之一,可以说发表论文,在职称评审中占据非常重要的作用.下面学术堂就来简单的说一下如何凭借个人经验发表论文.发表论文首先需要写一篇好的论文,论文不光主题鲜明,论点创新,还应该结构严谨,层次分明.与此同时,还应该注意论文标准格式、文句通顺,确保论文通过审核.发表论文流程主要包括以下几方面.根据杂志办刊盘方向以及办刊宗旨,确定要发表的刊物.然后投稿到杂志社邮箱,杂志社审稿录用排版印刷,到最后出版发行.如果稿件有问题会出现两种情况出现退稿与返修.返修的稿件要求整理好发回杂志社.觉得注意的是杂志社审稿在一周到一年不等根据杂志社实际情况来定排班时间在一周左右交稿三天左右印刷七到十天左右发行时间为一周左右.在进行发表期刊论文的过程中,要根据自己的实际情况选择合理的时间进行发表.个人如何发表论文.1、发表论文的重要性.不同的人发表论文的作用也不同:(1)评职称(晋升职称):研究生 毕业需要;教师 、医护人员 、科研院所的人员、企业员工 等 晋升高一级的职称时,发表期刊论文是作为一项必须的参考指标.(2)申报基金、课题 :教育、科技、卫生系统 每年申报的国家自然科学基金项目、其它各种基金项目、各种研究课题时,发表论文 是作为 基金或课题 完成的一种研究成果的结论性展示.(3)世界性基础领域的研究,比如在医学、数字、物理、化学、生命科学 等领域开展的基础性研究,公开发表论文 是对最新科技 科学研究成果、研究方法的一种展示和报道.以推动整个社会的科技进步等.(4)提升自身竞争力:本科生和研究生在校期间发表具有一定水准的论文,有助于提升个人学术素养,进入社会,也可能会有更高的起点.2、发布论文的流程.(1)确定自己的研究课题,验证其写作价值,如果具有一定价值,就着手开始筹备论文,第一次发表论文,可以多向前辈请教,多查阅一些资料文献,在前人的基础上寻找突破口,选题立意要新颖实用,不要为了写论文而写论文.(2)论文经过多次修改完善以后,接下来我们就可以准备发表论文,发表论文第一步就是要选择对应的期刊,如果稿件投向不合适的期刊可能会遭遇退稿和不公正评判.如何选择合适的期刊?在知网或其他数据库中检索本篇论文相关领域的期刊,查看期刊级别以及刊物号等,确保其为正规期刊,然后阅读其刊登发表过的论文,看自己的论文是否适合在这些期刊上发表,从中挑出2-3个期刊作为备选,进一步了解这些刊物的审稿周期、投稿费用、投稿要求等,从中选出将要投稿的1个期刊,联系期刊编辑将自己的稿件投递过去,然后等待审稿人员的回复.