摘要:市场驱动了云计算的发展,催生了平台即服务(paas)、基础设施即服务(iaas)和软件即服务(saas)等的云计算模式。云计算的关键技术包括:海量分布式存储技术、并行编程模式、数据管理技术、分布式资源管理技术、云计算平台管理技术、绿色节能技术。
根据wikipedia的定义,云计算是一种动态的、易扩展的、通常是通过互联网提供虚拟化的资源计算方式。用户不需要了解云内部的细节,也不必具有云内部的专业知识,或直接控制基础设施。云计算主要特点是能够快速部署资源或获得服务,能够按需扩展和使用,能够按使用量付费并通过互联网提供服务。
云计算目前已经成为提供各种互联网服务的重要平台。随着商用化进程加快,云计算的概念已延伸到提供各种运算服务,包括以虚拟化技术为基础的it资源整合服务。
2 云计算的发展历程
云计算的发展历程是一个经典的市场驱动的案例。google的创始者因为买不起昂贵的商用服务器来设计搜索引擎而采用了众多廉价pc来提供搜索服务。他们成功地把这种pc集群做到比商用服务器更强大,而成本却远远低于商用服务器的硬件和软件,形成了所谓的云计算技术。google的成功引发了产业对于云计算极大的关注,甚至把google云计算中五大关键技术(包括大规模集群管理、分布式文件系统、并行数据处理、分布式数据库、分布式资源管理)称为“五大巫术”。wwW.133229.cOm
云计算技术为it技术带来了重大变革。云计算技术极大地降低了企业的it建设及运营维护成本,降低了能源消耗,大大加快了企业信息化建设进程。云计算与互联网的结合催生了it商业模式的革命,促使越来越多的公司不再购买和维护软硬件,而是从amazon等公司租用计算、存储、网络资源以及it服务,使得企业实现信息化变得像获取自来水一样方便、廉价。不仅如此,云计算技术以其本身在大容量存储、超大规模计算能力方面的优势,使得云计算已成为科学研究不可缺少的助推器,成为推动着产、学、研、用紧密结合的新型创新模式。可以说,以云计算为代表的技术革命对现有信息产业及应用模式产生了深远的影响。
云计算已引起各行各业广泛的关注,也引起了各国政府的高度重视。美国、日本、英国等国家都在大力开展国家级云计算项目,试图在这场it技术革命中抢占先机。
2.1 google神话依赖于平台即服务
回顾云计算的起步和发展轨迹,我们不得不谈到google在以搜索为核心的互联网应用方面的成功。
1997年,有两个美国斯坦福大学的博士生做了个软件作业叫做backrub,这是一个实验用的搜索引擎。在建立之初,backrub只是针对1 000万份具有错综复杂关系的网页进行分析,后来他们发现斯坦福大学有上千人在使用这个软件,于是他们决定继续研发这个软件。把搜索的网页数目扩大,把搜索的效率提高,这就需要更高的计算性能,于是他们决定用多台服务器来实现。起初他们在自己的宿舍里攒计算机,后来宿舍舍友有意见,就被迫挪到一个破车库里攒,同时继续完善他们的backrub软件。因为当时很穷,只能用最便宜的器件来攒这些服务器。于是他们就买别人淘汰的主板、过期的cpu、便宜的小容量硬盘,还有廉价的电源,并拿纸盒子做机箱,能省就省。为了节约显卡、键盘什么的全都不要,就这样一气组装了一堆服务器。1台价格大约100多美金。可这种廉价组装的服务器很容易坏,不稳定,怎么办?这两个学生决定靠写完善的容灾软件系统来克服这个毛病。就这样,到了1999年或者2000年的时候,他们已有了几千台这样的服务器。他们开始用网络把这些服务器连接起来,在上面试着部署他们写的软件系统来进行文本搜索试验。既然在这样一个系统里面不可能用1台机器实现高性能,他们就在软件系统里研究了一套新型运算模式来实现高性能运算,这就是人们现在所称的“云计算”。这两个学生叫做布林和佩奇,他们在车库里攒出来的公司就是现在鼎鼎有名的google。
如今,他们已经有了超过100万台服务器组成的云计算平台,并依赖这样的云计算平台提供其著名的互联网搜索服务、gmail服务以及google map和新型的google wave和google voice等互联网服务。
依靠云计算平台,他们的网络爬虫爬遍了全世界,包括
2.3 salesforce.com奠定了软件
即服务的云计算模式
云计算发展过程中的第3个里程碑,一定属于salesforce.com。起初,这家公司想做自己的数据库管理类软件,并把它卖给企业用户。可是他们发现,在数据库管理类软件领域,他们可能永远打不过oracle。但是他们发现oracle的昂贵价格让很多企业望而却步,更有很多工业制造和物流行业的企业花大价钱买了oracle产品后却因为缺少专业知识而不能把它用好。于是他们决定利用新型的互联网来提供软件服务,从而和oracle竞争。这家公司在1999年首次通过自己的互联网站点向企业提供以客户管理为中心的营销支持服务软件——客户关系管理软件(crm),使得企业不必再像以前那样通过部署自己的计算机系统和软件来进行客户管理及营销服务,而只需通过云端的软件来管理,从而为软件即服务(saas)奠定了基础。这家位于旧金山的科技创新公司,通过向中小企业提供云服务而迅速壮大,他们的48 000个企业客户遍布世界各地。这些中小型企业可以不用购买和安装软件来实现其企业信息化服务,且数据都存储在云端,从而大大节省了成本,并能最大限度和最方便地实现信息共享和随取。这些中小型企业使得saas供应商salesforce年营业额增速高达50%,成为目前纳斯达克股市中的一家明星公司。saas模式的云服务可以帮助任何一个不懂it技术的中小企业花很少的运营成本,快速并科学构建适合其商业需求的企业信息化平台,从而极大地推进了企业信息化进程,也加快了信息化和工业化的融合。
在云计算技术的驱动下,运算服务正从传统的“高接触、高成本、低承诺”的服务配置向“低接触、低成本、高承诺”转变。如今,包括iaas、paas、saas等模式的云计算凭借其优势获得了全球市场的广泛认可。企业、政府、军队等各种重要部门都正在全力研发和部署云计算相关的软件和服务。云计算已进入国计民生的重要行业。ibm和google开始与一些大学合作进行大规模云计算理论研究项目。政府和军队的“私有云”正在悄然建设。许多新兴的初创公司和大型企业正在全力研发和部署云计算相关的软件和服务。与此同时风险投资和技术买家的兴趣也在迅速升温。迎着朝阳前进,是it技术发源地——美国硅谷对云计算目前发展状态的定位。
3 云计算的发展前景
美国多家市场研究公司联合预测,云计算市场将在未来几年高速增长,it厂商正以快于预期的速度转向运用云技术。根据gartner的调查结果,2009年全球云服务收入增长21%,从2008年的464亿美元增至2009年的563亿美元。2013年全球云服务收入会达到1 501亿美元。
gartner分析师认为,传统的内部it服务和大量的新业务会持续迁移到云计算中。以云计算为基础的业务流程是最大的云服务市场,其中包括广告、电子商务、人力资源和支付处理。google、microsoft、yahoo等公司云服务收入到2013年将是最大的组成部分。目前全球性的经济衰退和更严格的it预算,也使运用云计算来托管应用程序和服务更有吸引力。云计算是计算产业发展的高级阶段和必然趋势,目前已在国际市场得到了广泛的认可。云计算使得企业(尤其是中小企业)、个人用户在几乎没有预付资金投入的情况下可以即时使用计算资源,不必再提前做it资源计划,将大幅削减运营和使用成本。云计算系统同时改善了业务流程。各行业和机构可以把重点放在业务流程和逻辑组织上,而非it设施的建设和维护上。
4 云计算的关键技术
云计算是以数据为中心的一种数据密集型的超级计算。在数据存储、数据管理、编程模式、并发控制、系统管理等5个方面具有自身独特的技术。
4.1 海量分布式存储技术
为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性,以高可靠软件来弥补硬件的不可靠,从而提供廉价可靠的系统。为了满足大量用户的需求,数据存储技术必须具有高吞吐率和高传输率的特点。
云计算的数据存储系统主要有google gfs和hadoop开发团队开发的开源系统——hadoop 分布式文件系统(hdfs)。大部分it厂商,包括yahoo、intel的云计划采用的都是hdfs的数据存储技术。
4.2 并行编程模式
为了高效利用云计算的资源,使用户能更轻松地享受云计算带来的服务,云计算的编程模型必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。云计算采用mapreduce编程模式,将任务自动分成多个子任务,通过map和reduce两步实现任务在大规模计算节点中的调度与分配。
4.3 数据管理技术
云计算系统对大数据集进行处理、分析,向用户提供高效的服务,因此,数据管理技术必须能够高效地管理大数据集。另外,如何在规模巨大的数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题。云计算系统的数据管理往往采用列存储的数据管理模式,保证海量数据存储和分析性能。云计算的数据管理技术最著名的是google的bigtable数据管理技术,同时hadoop开发团队也开发了类似bigtable的开源数据管理模块hbase。
4.4 分布式资源管理技术
在多节点并发执行环境,分布式资源管理系统是保证系统状态正确的关键技术。系统状态需要在多节点之间同步,关键节点出现故障时需要迁移服务。分布式资源管理技术通过“锁”机制协调多任务对于资源的使用,从而保证数据操作的一致性。google的chubby是最著名的分布式资源管理系统。
4.5 云计算平台管理技术
云计算资源规模庞大,一个系统的服务器数量可能会高达10万台并跨越几个坐落于不同物理地点的数据中心,同时还运行成千上万种应用。如何有效地管理这些服务器,保证这些服务器组成的系统能够提供7×24小时不间断服务是一个巨大的挑战。云计算系统管理技术是云计算的“神经网络”。云计算系统管理技术能使大量的服务器协同工作,方便地进行业务部署和开通,快速地发现和恢复系统故障,使云计算系统通过自动化、智能化的手段实现大规模的可运营、可管理。google通过其卓越的云计算管理系统维持着全球上百万台pc服务器协同、高效地运行着,其云计算系统管理技术被作为企业核心机密至今没有公布技术资料。
4.6 绿色节能技术
云计算技术降低了服务器的采购成本,从而使电源消耗所带来的运营成本成为云计算中心的主要开支之一。为了进一步降低成本,云计算的开发者在绿色节能技术上进行了大量探索。
传统数据中心空调冷却的费用约占整体电费的30%～70%。为了节省能源,google在比利时的数据中心降温系统无需冷却剂,而是采取室外空气进行自然冷却。根据比利时的气候条件,每年只有7天左右无法使用自由冷却方式。在比较炎热的夏天,google可以通过云计算管理系统将该数据中心的计算任务转移到其他数据中心。
5 结束语
