发布时间：
国内没办法直接上谷歌的网站 你可以搜索下载个E9代理加速器 这样就能上Google下载东西了
职称论文三大网站是知网、万方、维普。
1、中国知网
知网一般是中国知网。知网是国家知识基础设施的概念，由世界银行于1998年提出。CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目。由清华大学、清华同方发起，始建于1999年6月。
提供CNKI源数据库、外文类、工业类、农业类、医药卫生类、经济类和教育类多种数据库。其中综合性数据库为中国期刊全文数据库、中国博士学位论文数据库、中国优秀硕士学位论文全文数据库、中国重要报纸全文数据库和中国重要会议文论全文数据库。每个数据库都提供初级检索、高级检索和专业检索三种检索功能。高级检索功能最常用。
2、万方
万方数据库是由万方数据公司开发的，涵盖期刊、会议纪要、论文、学术成果、学术会议论文的大型网络数据库；也是和中国知网齐名的中国专业的学术数据库。
其开发公司——万方数据股份有限公司是国内第一家以信息服务为核心的股份制高新技术企业，是在互联网领域，集信息资源产品、信息增值服务和信息处理方案为一体的综合信息服务商。万方期刊集纳了理、工、农、医、人文五大类70多个类目共7600种科技类期刊全文。
3、维普网
维普网，建立于2000年。经过多年的商业运营，维普网已经成为全球著名的中文专业信息服务网站。网站陆续建立了与谷歌学术搜索频道、百度文库、百度百科的战略合作关系。
网站遥遥领先数字出版行业发展水平，数次名列中国出版业网站百强，并在中国图书馆业、情报业网站排名中名列前茅。
Google在科学杂志《自然》上发表的一篇新文章中正式宣布已实现“量子霸权” ，这离公司最初泄漏该事件的发生刚好一个月，当时，Google的论文被意外地提前发表。不过，Google现在的正式宣布则意味着这项研究的全部细节都会被公开的，科学界可以更广泛地审查Google所说的成就。
谷歌表示，其54比特Sycamore处理器能够在200秒内完成世界上最强大的超级计算机花费10000年所需的随机数计算量，这让目前所有的非量子计算机相形见绌。
而就在今天，另一家超级计算机公司IBM正在对谷歌的说法提出异议。在周一抢先发表的博客文章中，该公司表示，在传统系统上可以在2.5天之内完成相同的任务，而不是Google声称的10000年。 IBM说，在估算其传统超级计算机执行计算所需的时间时，Google“未能充分考虑大量磁盘存储”的开销。
尽管IBM试图淡化Google的成就，但研究界人士对此消息表示欢迎，《纽约时报》引述科学家的话将Google的突破与莱特兄弟1903年的首次飞机飞行相提并论。
距离量子计算开始逐渐被运用，我们可能还需要数年的时间，但是Google的发现最终可以提供证据，证明量子计算的未来已经有了可能。
论文从初稿到发看需要三四个月左右。
一般的省级、国家级论文审稿需要1～2天，出刊需要1～3个月。个别快的0.5个月，还有个别慢的需要4～7个月。
质量水平高一些的期刊，还有一些大学学报，投稿的出刊需要6个月左右，快一些的3～4个月。
科技核心期刊审稿需要1～3个月，出刊另需要6～10个月左右，总的算起来大约是1年～1年半。
北核、南核审稿需要3～4个月，出刊另需6～15个月左右，跨度较大总的算起来1年～2年。
综上所述，评职称发表论文一定要对各不同级别论文的发表周期做到心里有数，提前准备，以免时间上赶不及白白错过评审多等一年。尤其是核心论文，一定要提前。
这个要看具体情况的，一个是如果你发的是普刊，那么周期就会短一些，一个是如果你发表的是核心期刊，有可能一年多才能见刊发表，前提是录用的情况下。还有一个情况是，如果你是自己投稿，会慢一些，如果你是找一些论文机构帮忙投稿发表，会快速一些。我之前找淘淘论文网发表的经济类论文，2个月就给你加急发表了，是普刊，如果是核心他们也没法加急。所以看你发表的什么刊物了。
论文发表时间看法如下：
论文发表时间，是需要看选定的目标期刊，以及目前的排刊情况。可能现在征集的稿件，是为明年2-3月的排刊。中文发表的周期是1-3个月左右，被收录的时间是出刊后3个月左右时间，这样算下来的话是要4-6个月的时间。
论文发表时间是指文章见刊时间。
首先如果论文发表纯属作者个人爱好，那么发表时间就是文章见刊时间。但是如果论文发表是用来评职称晋升的，就需要特别注意一下了，职称论文的发表是以论文被检索为标准的，并不单单是见刊，要见刊并且被检索才行，因此要区分不同的论文来看。
评职称论文发表注意事项：
1、要明确发表那种级别的期刊才可以顺利评过职称，省级以上的、或者要国家级的、核心期刊等。最好是询问你们单位管理职称的部门，评定相应级别的职称是需要发那种级别的期刊。
2、明确职称评定时间。这一点非常重要，写作论文，发表论文前，一定要了解明确职称评定时间，早做准备，因为一般论文发表的时间为3个月左右，长的则半年甚至一年，而职称评定时，有的要求必须通过数据库检索到，论文发表出刊后，几个数据库一般2个月后才能收录进去，因此，还有考虑2个月的收录时间。
Google在科学杂志《自然》上发表的一篇新文章中正式宣布已实现“量子霸权” ，这离公司最初泄漏该事件的发生刚好一个月，当时，Google的论文被意外地提前发表。不过，Google现在的正式宣布则意味着这项研究的全部细节都会被公开的，科学界可以更广泛地审查Google所说的成就。
谷歌表示，其54比特Sycamore处理器能够在200秒内完成世界上最强大的超级计算机花费10000年所需的随机数计算量，这让目前所有的非量子计算机相形见绌。
而就在今天，另一家超级计算机公司IBM正在对谷歌的说法提出异议。在周一抢先发表的博客文章中，该公司表示，在传统系统上可以在2.5天之内完成相同的任务，而不是Google声称的10000年。 IBM说，在估算其传统超级计算机执行计算所需的时间时，Google“未能充分考虑大量磁盘存储”的开销。
尽管IBM试图淡化Google的成就，但研究界人士对此消息表示欢迎，《纽约时报》引述科学家的话将Google的突破与莱特兄弟1903年的首次飞机飞行相提并论。
距离量子计算开始逐渐被运用，我们可能还需要数年的时间，但是Google的发现最终可以提供证据，证明量子计算的未来已经有了可能。
第一阶段，运营式系统阶段。在上世纪七八十年代，用户购物时产生的记录一条条输入数据库，当时都是由这些运营系统生成这些数据的。
第二阶段，由用户原创内容阶段。2002年的时候，开始有了博客，后来发展成微博，到后来出现的微信，这些让每个网民都成了自媒体，都可以自己随心所欲地向网络发布相关的信息，这个时候数据产生的速度要远远大于之前的仅仅由运营系统产生的数据。
第三阶段，感知式系统阶段。真正让大数据时代由量变到质变是因为数据产生的方式到了第三个阶段——感知式系统阶段。
感知式系统阶段也就是物联网的大规模普及，物联网的迅速发展让大数据时代最终到来。
大数据是互联网发展到一定阶段的必然产物：
由于互联网在资源整合方面的能力在不断增强，互联网本身必须通过数据来体现出自身的价值，所以从这个角度来看，大数据正在充当互联网价值的体现者。
随着更多的社会资源进行网络化和数据化改造，大数据所能承载的价值也必将不断提到提高，大数据的应用边界也会不断得到拓展，所以在未来的网络化时代，大数据自身不仅能够代表价值，大数据自身更是能够创造价值。
因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
大数据技术发展史：大数据的前世今生
今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。
因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。
当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。
两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。
如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。
我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。
Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。
同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。
这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的操作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。
编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。
这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。
随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。
在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。
同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。
一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。
而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。
正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。
此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。
图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。
希望对您有所帮助！~
因为，Google是大数据鼻祖。很多人提起大数据，必然会想起Google 的“三驾马车”（也称谷歌三宝）：GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山，它激发了大数据技术开源时代的到来，百花齐放，争相斗艳，成就了Hadoop的辉煌十载。尤其是近年来，大数据技术的发展，不论是技术的迭代，还是生态圈的繁荣，都远超人们的想象。从 Spark 超越 Hadoop 勇攀高峰，到 Flink 横空出世挑战 Spark 成为大数据处理领域一颗耀眼的新星，再到如今 Google 又决心用 Apache Beam 一统天下。大数据开源技术的发展可谓是继往开来，跌宕起伏，波澜壮阔，俨然一副绵绵不断的辉煌画卷。
等会让他赶紧染发剂对人体
你说的可能是这三个吧：2003年发表了《The Google File System》2004年发表了《MapReduce: Simplified Data Processing on Large Clusters 》2006年发表了《Bigtable: A Distributed Storage System for Structured Data》
Google在科学杂志《自然》上发表的一篇新文章中正式宣布已实现“量子霸权” ，这离公司最初泄漏该事件的发生刚好一个月，当时，Google的论文被意外地提前发表。不过，Google现在的正式宣布则意味着这项研究的全部细节都会被公开的，科学界可以更广泛地审查Google所说的成就。
谷歌表示，其54比特Sycamore处理器能够在200秒内完成世界上最强大的超级计算机花费10000年所需的随机数计算量，这让目前所有的非量子计算机相形见绌。
而就在今天，另一家超级计算机公司IBM正在对谷歌的说法提出异议。在周一抢先发表的博客文章中，该公司表示，在传统系统上可以在2.5天之内完成相同的任务，而不是Google声称的10000年。 IBM说，在估算其传统超级计算机执行计算所需的时间时，Google“未能充分考虑大量磁盘存储”的开销。
尽管IBM试图淡化Google的成就，但研究界人士对此消息表示欢迎，《纽约时报》引述科学家的话将Google的突破与莱特兄弟1903年的首次飞机飞行相提并论。
距离量子计算开始逐渐被运用，我们可能还需要数年的时间，但是Google的发现最终可以提供证据，证明量子计算的未来已经有了可能。
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。
那么这篇博客就来介绍一下MapReduce。
1. MapReduce是干啥的
因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。
Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。
GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。
简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。
下面用一个贯穿全文的例子来解释MapReduce是如何工作的。
2. 例子：统计词频
如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？
方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。
这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。
方法二：写一个多线程程序，并发遍历论文。
这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。
方法三：把作业交给多个计算机去完成。
我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。
方法四：让MapReduce来帮帮我们吧！
MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。
在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。
3. map函数和reduce函数
map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。
因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
当前大数据的数据量已达PB级别（1PB=1024TB），可以说是庞大无比。同时数据还有 结构化 （如数字、符号等）、 非结构化 （如文本、图像、声音、视频等）之分，兼具大量、复杂的特点，使得如何又快又好又便宜得进行大数据的存储，管理和处理变成一个亟待解决的问题。 于是 分布式计算 作为一种低成本的方案被提出来了。原理就是把一组计算机通过网络相互连接组成分散系统，尽管分散系统内的单个计算机的计算能力不强，但是每个计算机只计算一部分数据，多台计算机同时计算，最后将这些计算结果合并得到最终的结果。就整个分散系统而言，处理数据的速度远高于单个计算机，且比集中式计算的大型机要划算的多。 为什么是他们，这要从谷歌的三篇论文说起... 2003年到2004年间，Google发表了三篇技术论文，提出了一套分布式计算理论，分别是： 但由于Google没有开源，所以其他互联网公司根据Google三篇论文中提到的原理，对照MapReduce搭建了 Hadoop ， 对照GFS搭建了 HDFS ，对照BigTable搭建了 HBase. 即：而 Spark 分布式计算是在Hadoop分布式计算的基础上进行的一些架构上的改良。目前也是Hadoop生态圈的成员之一。 Spark与Hadoop最大的不同点在于，Hadoop用 硬盘 存储数据，而Spark用 内存 存储数据,所以Spark能提供超过Hadoop100倍的运算速度。但因为内存断电后会丢失数据，所以Spark不能用于处理需要长期保存的数据。 Flink是目前唯一同时支持高吞吐、低延迟、高性能的分布式流式数据处理框架。一般需要实时处理的场景都有他的身影，比如：实时智能推荐、实时复杂事件处理、实时欺诈检测、实时数仓与ETL、实时报表分析等 广义的Hadoop不再是单指一个分布式计算系统，而是一套生态系统。 那么，这套生态圈是如何产生的呢？ 在有了Hadoop之类计算系统的基础上，人们希望用更友好的语言来做计算，于是产生了Hive、Pig、SparkSQL等。计算问题解决了，还能在什么地方进一步优化呢？于是人们想到给不同的任务分配资源，于是就有了Yarn、Oozie等。渐渐地，随着各种各样的工具出现，就慢慢演变成一个包含了文件系统、计算框架、调度系统的Hadoop大数据生态圈。 附：一些其他的组件示意 Kafka：是一种高吞吐量的分布式发布订阅消息系统，它可以处理各大网站或者App中用户的动作流数据。用户行为数据是后续进行业务分析和优化的重要数据资产，这些数据通常以处理日志和日志聚合的方式解决。 Kafka集群上的消息是有时效性的，可以对发布上来的消息设置一个过期时间，不管有没有被消费，超过过期时间的消息都会被清空。例如，如果过期时间设置为一周，那么消息发布上来一周内，它们都是可以被消费的，如果过了过期时间，这条消息就会被丢弃以释放更多空间。 Oozie：是一个工作流调度系统，统一管理工作流的调度顺序、安排任务的执行时间等，用来管理Hadoop的任务。Oozie集成了Hadoop的MapReduce、Pig、Hive等协议以及Java、Shell脚本等任务，底层仍然是一个MapReduce程序。 ZooKeeper：是Hadoop和HBase的重要组件，是一个分布式开放的应用程序协调服务，主要为应用提供配置维护、域名服务、分布式同步、组服务等一致性服务。 YARN：Hadoop生态有很多工具，为了保证这些工具有序地运行在同一个集群上，需要有一个调度系统进行协调指挥，YARN就是基于此背景诞生的资源统一管理平台。
Google公司三篇英文文献中的一个主要创新点就是大数据技术的发展和应用。Google公司三篇英文文献分别是《Google File System》、《Google Bigtable》和《Google Map Reduce》。其实描述的就是Google的三种技术，GFS分布式文件系统、Bigtable分布式数据存储系统、MapReduce编程模型，都是基于分布式并行运行的，部署在大量普通机器组成的集群之上。它们相互之间都有相似之处，也能协调在一起运行和工作，三篇文章的重要目的就是解决分布式并行计算的问题，这也为大数据技术的发展和应用提供了可能。
互联网时代的来临，简易的说是海量信息同极致数学计算融合的结果。除此以外是移动互联、物联网技术造成了大量的数据信息，互联网大数据建筑科学极致地解决了海量信息的搜集、储存、测算、剖析的难题。互联网时代打开人类社会运用数据价值的另一个时期。互联网大数据（BigData）又称之为大量材料，便是数据信息大、数据来源宽阔（系统日志、视频、声频），大到PB级别，目前的架构便是以便处理PB级别的数据信息；到目前为止，人们生产制造的全部印刷耗材的信息量也但是200PB；阿里巴巴、京东商城、苏宁易购基础都沉定了PB级别；等于一家BAT企业（百度搜索、阿里巴巴、腾迅）顶过去全部人们时期生产制造的包装印刷材料互联网大数据便是解决海量信息的，工作中便是储存,清理,查寻,导出来,必须SQL句子和编程工具脚本制作适用互联网大数据一般用于描述一个企业造就的很多非结构型和半非结构化数据，这种数据信息在免费下载到关联型数据库查询用以剖析时候花销过多时间和钱财。数据分析常和云计算技术联络到一起，由于即时的大中型数据剖析必须像MapReduce一样的架构来向数十、百余或乃至千余的电脑上分派工作中。依据《大数据时代》中常说，互联网大数据并不是一个准确的定义，大量的是一种将会的方法。“互联网大数据是大家在规模性数据信息的基本上能够保证的事儿，而这种事儿在小规模纳税人数据信息的基本上是没法进行的。互联网大数据是大家得到 新的认知能力、造就新的使用价值的原动力，互联网大数据还为更改销售市场“互联网大数据即一种新式的工作能力：以一种史无前例的方法，根据对海量信息开展剖析，得到 有极大使用价值的商品和服务项目，或刻骨铭心的洞悉。