hinton发表的论文

小西：小迪小迪，我发现人工智能发展史上很多事情都跟下棋有关呐。 小迪：是啊，人工智能发展史还是要从下棋说起，棋类游戏很多时候都被人类看做高智商游戏，在棋类游戏中让机器与人类博弈自然再好不过了。早在1769年，匈牙利作家兼发明家Wolfgang von Kempelen就建造了机器人TheTurk，用于与国际象棋高手博弈，但是最终被揭穿，原来是机器人的箱子里藏着一个人。虽然这是个，但是也体现了棋类游戏是人机博弈中的焦点。 小西：哇，这么早啊！ 小迪：是啊，在1968年上映的电影《2001太空漫游》里，有个情节是机器人HAL与人类Frank下国际象棋，最终人类在机器人面前甘拜下风。 小西：哈哈，看来很早人们就觉得有一天，机器人会在下棋方面超过人类哦。 小迪：是啊，直到1997年，IBM的深蓝智能系统战胜了国际象棋世界冠军Kasparov，这是一次正式意义上的机器在国际象棋领域战胜了人类。不过，当时时代杂志发表的文章还认为，计算机想要在围棋上战胜人类，需要再过上一百年甚至更长的时间。因为围棋相比于国际象棋复杂很多，而IBM的深蓝也只是一个暴力求解的系统，当时的计算机能力在围棋千千万万种变化情况下取胜是不可能的。 小西：后来我知道。没有过100年，20年后AlphaGo在20年后的2016年打败了围棋高手李世石，这下人工智能引起了全世界的关注。 小迪：恭喜你，学会抢答了！ 小西：哈哈，过奖过奖。除了下棋，人工智能发展史上有没有什么特别著名的事件或者有名的大师呢，快给我科普科普呀！ 小迪：那可就太多了啊，无数科学家默默地耕耘才有了今天智能化的社会，三天三夜都说不完。我就说说近些年火爆的深度学习的发展史吧。 小西：好，洗耳恭听呢！ 感知器的发明 1943年Warren McCulloch和Walter Pitts一起提出计算模型，在1957年康奈尔大学的Frank Rosenblatt提出了感知器的概念，这是整个深度学习的开端，感知器是第一个具有自组织自学习能力的数学模型。Rosenblatt乐观地预测感知器最终可以学习，做决定和翻译语言。感知器技术在六十年代非常火热，受到了美国海军的资金支持，希望它以后能够像人一样活动，并且有自我意识。 第一次低潮 Rosenblatt有一个高中校友叫做Minsky，在60年代，两人在感知器的问题上吵得不可开交。R认为感知器将无所不能，M觉得感知器存在很大的缺陷，应用有限。1969年，Minsky出版了新书《感知器：计算几何简介》，这本书中描述了感知器的两个重要问题： 单层神经网络不能解决不可线性分割的问题，典型例子：异或门；当时的电脑完全没有能力承受神经网络的超大规模计算。 随后的十多年，人工智能转入第一次低潮，而Rosenblatt也在他43生日时，因海事丧生，遗憾未能见到神经网络后期的复兴。 Geoffrey Hinton与神经网络 1970年，此时的神经网络正处于第一次低潮期，爱丁堡大学的心理学学士Geoffrey Hinton刚刚毕业。他一直对脑科学非常着迷，同学告诉他，大脑对事物和概念的记忆，不是存储在某个单一的地方，而是分布式的存在一个巨大的神经网络中。分布式表征让Hinton感悟很多，随后的多年里他一直从事神经网络方面的研究，在爱丁堡继续攻读博士学位的他把人工智能作为自己的研究领域。 Rumelhart与BP算法 传统的神经网络拥有巨大的计算量，上世纪的计算机计算能力尚未能满足神经网络的训练。1986年7月，Hinton和David Rumelhart合作在Nature杂志上发表论文系统地阐述了BP算法： 反向传播算法（BP）把纠错运算量下降到只和神经元数目有关；BP算法在神经网络中加入隐层，能够解决非线性问题。 BP算法的效率相比传统神经网络大大提高，计算机的算力在上世纪后期也大幅提高，神经网络开始复苏，引领人工智能走向第二次辉煌。 Yann Lecun与卷积神经网络 1960年Yann Lecun在巴黎出身，在法国获得博士学位后，追随Hinton做了一年博士后，随后加入贝尔实验室。在1989年，Lecun发表论文提出卷积神经网络，并且结合反向传播算法应用在手写邮政编码上，取得了非常好的效果，识别率高达95%。基于这项技术的支票识别系统在90年代占据了美国接近20%的市场。 但也是在贝尔实验室，Yann Lecun的同事Vladmir Vapnik的研究又把神经网络的研究带入了第二个寒冬。 Hinton与深度学习 2003年，Geoffrey Hinton在多伦多大学苦苦钻研着神经网络。在与加拿大先进研究院（CIFAR）的负责人Melvin Silverman交谈后，负责人决定支持Hinton团队十年来进行神经网络的研究。在拿到资助后，Hinton做的第一件事就是把神经网络改名为深度学习。此后的一段时间里，同事经常会听到Hinton在办公室大叫：“我知道神经网络是如何工作的了！” DBN与RBN 2006年Hinton与合作者发表论文——《A Fast Algorithm for Deep BeliefNet》（DBN）。这篇文章中的算法借用了统计力学中“波尔兹曼分布”的概念，使用了所谓的“受限玻尔兹曼机”，也就是RBN来学习。而DBN也就是几层RBN叠加在一起。RBN可以从输入数据进行预训练，自己发现重要的特征，对神经网络的权重进行有效的初始化。这里就出现了另外两个技术——特征提取器与自动编码器。经过MNIST数据集的训练后，识别错误率最低降到了只有1.25%。 吴恩达与GPU 2007年，英伟达推出cuda的GPU软件接口，GPU编程得以极大发展。2009年6月，斯坦福大学的Rajat Raina和吴恩达合作发表文章，论文采用DBNs模型和稀疏编码，模型参数高达一亿，使用GPU运行速度训练模型，相比传统双核CPU最快时相差70倍，把本来需要几周训练的时间降到了一天。算力的进步再次加速了人工智能的快速发展。 黄仁勋与GPU 黄仁勋也是一名华人，1963年出生于台湾，在1993年于斯坦福毕业后创立了英伟达公司，英伟达起家时主要做图像处理芯片，后来黄仁勋发明GPU这个词。相比于CPU架构，GPU善于大批量数据并行处理。而神经网络的计算工作，本质上就是大量的矩阵计算的操作，GPU的发展为深度学习奠定了算力的基础。 李飞飞与ImageNet 深度学习的三大基础——算法，算力和数据。上面提到的主要是算法与算力的发展，而数据集在深度学习发展也起到了至关重要的作用。又是一位华人学者——李飞飞，于2009年建立ImageNet数据集，以供计算机视觉工作者使用，数据集建立的时候，包含320个图像。2010年，ILSVRC2010第一次举办，这是以ImageNet为基础的大型图像识别大赛，比赛也推动了图像识别技术的飞速发展。2012年的比赛，神经网络第一次在图像识别领域击败其他技术，人工智能步入深度学习时代，这也是一个历史性的转折点。 Yoshua Bengio与RELU 2011年，加拿大学者Xavier Glorot与Yoshua Bengio联合发表文章，在算法中提出一种激活函数——RELU，也被称为修正线性单元，不仅识别错误率普遍降低，而且其有效性对于神经网络是否预训练过并不敏感。而且在计算力方面得到提升，也不存在传统激活函数的梯度消失问题。 Schmidhuber与LSTM 其实早在1997年，瑞士Lugano大学的Suhmidhuber和他的学生合作，提出了长短期记忆模型（LSTM）。LSTM背后要解决的问题就是如何将有效的信息，在多层循环神经网络传递之后，仍能传送到需要的地方去。LSTM模块，是通过内在参数的设定，决定某个输入参数在很久之后是否还值得记住，何时取出使用，何时废弃不用。 后记 小迪：其实还有好多有突出贡献的的大师，要是都列出来可以出一本很厚很厚的书啦！ 小西：这些大师都好厉害呀，为了我们的智能化生活体验，辛勤付出了一辈子。 小迪：是啊，还有很多学者默默无闻地工作，一生清苦。 小西：他们都好伟大，有突出贡献的都应该发奖发奖金，对对对，诺贝尔奖！ 小迪：哈哈。诺贝尔奖多数是为基础学科设立的。不过计算机界也有“诺贝尔奖”——图灵奖，这可是计算机界最高奖项哦！2019年3月27日，ACM宣布，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同获得了2018年的图灵奖。 小西：太棒了，实至名归！ 小迪：当然，图灵奖在此之前也授予了很多在人工智能领域的大牛，像Minsky，John McCarthy这些，还有华人科学家，现在在清华大学任职从事人工智能教育的姚期智先生在2000也获得过图灵奖呢！ 小西：大师们太不容易了，我们也要好好学习呀！ 小迪：是呀！如今我们站在巨人的肩膀上，许多人都可以接触到深度学习，机器学习的内容，不管是工业界还是学术界，人工智能都是一片火热！ 小西：希望这一轮人工智能的兴起不会有低潮，一直蓬勃发展下去，更好地造福人类。 小迪：嗯！

1. 1943年神经科学家warren McCulloch和数学逻辑家Walter Pitts提出MP神经元模型。 2. 1957年美国康奈尔航空实验室的Frank Rosenblatt在MP模型的基础上发明了一种叫做“感知器”的神经网络算法，并在一台IBM-704上成功实现。 3. 1969年人工智能先驱Marvin Minsky和Seymour Papert出版了《感知器》一书，提出并证明了单层的感知器无法处理不可线性分割的问题。如异或逻辑。 4. 1974年哈弗大学的Paul Webbos提出将反向传播算法（BP算法）的思想应用于神经网络。 5. 1986年Rumelhart、Hinton、Williams在《自然》杂志上发表了Learning Internal Repressentation by Backpropagation of Errors.指出在神经网络中增加一个     隐藏层，并用反向传播算法可以解决Minsky等人提出的多层神经网络不能解决异或逻辑的问题。阻碍神经网络发展的魔咒被打破 6. 1989年,Yann LeCun运用卷积神经网络对美国手写邮政编码进行训练和识别，在独立样本测试中达到了5%的错误率。 7. 1991年，德国的SeppHochreiter指出，当BP算法中成本函数反向传播时，每经过一层，梯度以相乘的方式叠加到前层，梯度在经过若干层反向传播后会变得极小     趋于0，存在梯度消失的问题。 8.2006年Hitton等人发表了一篇名为A Fast Learning Algorithm for Deep Belief Nets的论文，提出使用玻尔兹曼分布构造了两层玻尔兹曼机进行无监督的预训练   以此来对权值进行初始化，然后使用反向传播算法对权值进行微调，这一策略在一定程度上克服了梯度消失的问题。 9.2011年加拿大蒙特利尔大学的Xavier Glorot 和Yoshua Bengio在Deep sparse Rectangle Neural Networks的论文中提出一种被称为“修正线性单元”RELU的激活函数   ，该激活函数的导数为常数，在误差反向传播计算中不存在sigmoid的传统激活函数所固有的梯度消失问题。从根本上解决了阻碍神经网络发展的梯度消失难题。 10. 2012年Hinton在论文Improving neural networks by preventing co-adaptation of feature detectors中提出使用“丢弃Dropout”算法来解决神经网络     中存在过度拟合的问题。

1、the outsiders 中文名称：小教父 别名：局外人/被摒弃的人2、电影——剧情简介：《局外人》是弗朗西斯·福特·科波拉 执导的剧情 犯罪类美国电影。由Matt Dillon，Ralph Macchio主。影片讲述了60年代的塔尔萨城，城里的学生分属于南北两个帮派（Socs and Greasers)。南帮(Socs)的成员主要是住在城南的中产阶级学生，而住在贫民区的出身贫寒的学生则属于北帮(Greasers)。南北两帮的人都瞧对方不顺眼，双方积怨颇深，打架斗殴是家常便饭。波尼博伊(Ponyboy Curtis)是个孤儿，14岁，他和16岁的约翰尼(Johnnycade)，还有比他们年龄稍大的达拉斯(Dallas,简称Dally)属于北帮Greasers。文学——《局外人》是加缪的成名作，也是存在主义文学的代表作品。它形象地体现了存在主义哲学关于“荒谬”的观念；《局外人》以“今天，妈妈死了，也许是昨天，我不知道”开始，以“我还希望处决我的那一天有很多人来看，对我发出仇恨的喊叫声”结束。小说以这种不动声色而又蕴含内在力量的平静语调为我们塑造了一个惊世骇俗的“荒谬的人”：对一切都漠然置之的莫尔索。由于人和世界的分离，世界对于人来说是荒诞的、毫无意义的，而人对荒诞的世界无能为力，因此不抱任何希望，对一切事物都无动于衷。整本书的结尾也是书的开头，"When I stepped out into the bright sunlight from the darkness of the movie house, I had only two things on my mind: Paul Newman and a ride home..." （翻译：”当我从电影院的黑暗走到明亮的阳光下，我的脑里只有两件事：保罗·纽曼和回家。。。“）3、作者介绍：阿尔贝·加缪(Albert Camus，1913～1960)，法国作家、哲学家。1957年获得诺贝尔文学奖。1960年在一次车祸中不幸身亡。加缪是荒诞哲学及其文学的代表人物，他的代表作《局外人》与同年发表的哲学论文集《西西弗的神话》，曾在欧美产生巨大影响。加缪的文笔简洁、明快、朴实，他的文学作品总是同时蕴含着哲学家对人生的严肃思考和艺术家的强烈激情。其哲学和文学作品对后期的荒诞派戏剧和新小说影响很大。评论家认为加缪的作品体现了适应工业时代要求的新人道主义精神。萨特说他在一个把现实主义当作金牛膜拜的时代里，肯定了精神世界的存在。

60代的塔尔萨城，城里的学生分属于南北两个帮派。南帮的成员主要是住在城南的中产阶级学生，而住在贫民区的出身贫寒的学生则属于北帮。南北两帮的人都瞧对方不顺眼，双方积怨颇深，打架斗殴是家常便饭。波尼博伊是个孤儿，14岁，他和16岁的约翰尼，还有比他们年龄稍大的达拉斯斗属于北帮。一天晚上，南北两帮的人又大打出手，波尼博伊差点在水池中丢了命，而约翰尼则在自卫时将鲍勃杀死。两人请求达拉斯帮忙，达拉斯遂将他们藏在郊区的一座久已废弃的教堂中。在废弃的教堂中，波尼博伊和约翰尼背诵诗歌，读小说《飘》，在谈论中向往着一个理想世界：那里既没有城南帮也没有城北帮。这时，城里的教堂失火了，三个人冲进了雄雄大火，将困在火中的孩子们救了出来，而约翰尼和达拉斯却在火中受了伤。第二天晚上大雨瓢泼，新一轮的械斗再次展开，城北帮最终取得了胜利。但在斗殴中达拉斯被警察打死，约翰尼也因伤势过重死在了医院。幸存者波尼博伊打开了《飘》，在书里，他发现了约翰尼留给他的诀别书。若满意请采纳!