摘 要:本文提出了一种基于云计算技术进行管理和存储海量数据模型,构建了海量数据存储云计算平台解决方案。针对Hadoop 的文件系统 HDFS(Hadoop Distributed File System)和计算模型 MapReduce 进行深入分析和研究的基础上,建立基于 Hadoop 平台的云存储平台。
关键词:海量数据存储 ;Hadoop ;云计算
随着信息化的普及、互联网和存储技术的发展以及传感器、RFID等各种先进信息采集技术的成熟,收集和存储以指数级规模增长的数据资源成为可能,这些数据的存储与管理将会面临巨大的问题。云计算是在超大规模分布式系统,他对外提供数据存储与节点计算能力,基于云计算环境下的数据管理、数据存储、分布式计算都是其核心部分。
1.平台总体设计
1.1平台总体框架结构
结合海量数据各种特点,结合系统运维的角度考虑,系统设计拟采用多层结构设计,易于扩展维护。数据分为元数据和数据,元数据和数据即可在独立的HTTP请求中传输,也可在同一个HTTP请求中传输。传输协议采用HTTP或者HTTPS。在完成整体设计中需要考虑云存储的数据模型,安全访问控制以及备份策略,系统结构如图1所示:
图1 平台结构图
表示层:提供用户操作页面,不同用户可根据自己的权限做各种不同的操作,例如一般用户可以进行页面浏览与数据查询,管理员系统维护等操作可 陈康,郑纬民.云计算:系统实现与研究
现状. 北京:清华大学出版社,2010.