谷歌发表的3篇论文

因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。

因为，Google是大数据鼻祖。很多人提起大数据，必然会想起Google 的“三驾马车”（也称谷歌三宝）：GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山，它激发了大数据技术开源时代的到来，百花齐放，争相斗艳，成就了Hadoop的辉煌十载。尤其是近年来，大数据技术的发展，不论是技术的迭代，还是生态圈的繁荣，都远超人们的想象。从 Spark 超越 Hadoop 勇攀高峰，到 Flink 横空出世挑战 Spark 成为大数据处理领域一颗耀眼的新星，再到如今 Google 又决心用 Apache Beam 一统天下。大数据开源技术的发展可谓是继往开来，跌宕起伏，波澜壮阔，俨然一副绵绵不断的辉煌画卷。

简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。