数据中心的核心技术

数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合。从应用层面看，包括业务系统、基于数据仓库的分析系统；从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程；从基础设施层面看，包括服务器、网络、存储和整体IT 运行维护服务。数据中心的建设目标是：1、全面建成公司总部和网省公司两级数据中心，逐步实现数据及业务系统的集中； 2、建立企业数据仓库，提供丰富的数据分析展现功能；3、实现数据的唯一性与共享性；4、建立统一的安全体系，保证数据及业务系统的访问安全；5、结合数据中心建设，完善数据交换体系，实现两级数据中心间的级联；6、实现网络、硬件、存储设备、数据、业务系统和管理流程、IT采购流程、数据交换流程的统一集中；7、统一的信息管理模式及统一的技术架构，能够迅速地实施部署各种IT系统，提升管理能力。数据中心采用总部和网省两级进行部署，两级数据中心通过数据交换平台进行数据的级联。数据中心逻辑架构包含：应用架构、数据架构、执行架构、基础架构（物理架构）、安全架构、运维架构。 应用架构：应用架构是指数据中心所支撑的所有应用系统部署和它们之间的关系。 数据架构：数据架构是指每个应用系统模块的数据构成、相互关系和存储方式，还包括数据标准和数据的管控手段等。 执行架构：执行架构是指数据仓库在运行时态的关键功能及服务流程，主要包括ETL（数据的获取与整合）架构和数据访问架构。 基础架构（物理架构）：为上层的应用系统提供硬件支撑的平台（主要包括服务器、网络、存储等硬件设施）。 安全架构：安全架构覆盖数据中心各个部分，包括运维、应用、数据、基础设施等。它是指提供系统软硬件方面整体安全性的所有服务和技术工具的总和。 运维架构：运维架构面向企业的信息系统管理人员，为整个信息系统搭建一个统一的管理平台，并提供相关的管理维护工具，如系统管理平台、数据备份工具和相关的管理流程。数据的获取与整合也叫ETL（Extract，Transact，Load），是在确定好数据集市模型并对数据源进行分析后，按照分析结果，从应用系统中抽取出与主题相关的原始业务数据，按照数据中心各存储部件的要求，进行数据交换和装载。数据的获取与整合主要分为数据抽取、数据转换、数据装载三个步骤。 ETL 的好坏，直接影响到数据集市中的数据质量。 数据仓库区是专门针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域。数据仓库由覆盖多个主题域的企业信息组成，这些信息主要是低级别、细粒度数据，同时可以根据数据分析需求建立一定粒度的汇总数据。它们按照一定频率定期更新，主要用于为数据集市提供整合后的、高质量的数据。数据仓库侧重于数据的存储和整合。 数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式可以通过对数据结构进行汇总和索引实现。借助数据集市可以保障数据仓库的高可用性、可扩展性和高性能

IDC(Internet Data Center)，即互联网数据中心。是指在互联网上提供的各项增值服务的服务。它包括：申请域名、租用虚拟主机空间、主机托管等业务的服务。他包括：申请域名、租用虚拟主机、主机托管等服务。 太仓思维力IDC系统和结构和工作原理给大型的机械精美的电子设备一样，环境好，无尘等。

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。数据采集有硬件采集，如OBD，有软件采集，如滴滴，淘宝。数据存储就包括NOSQL，hadoop等等。数据清洗包括语议分析，流媒体格式化等等。数据挖掘包括关联分析，相似度分析，距离分析，聚类分析等等。数据可视化就是WEB的了。