大数据科技论文研究现状

摘 要：大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数据处理的有效性、实时性提出了更高要求，需要根据大数据的特点对当前数据处理技术实施变革，从而形成更有益于大数据采集、存储、处理、管理、分析、共享的新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。

关键词 ：大数据 物联网 信息处理 海量计算

一、大数据的产生与发展现状

随着物联网、云计算等信息技术的飞速发展，大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前，人们对大数据的理解还不够全面和深入，关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为：大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出：大数据是海量数据与复杂类型的数据的结合。而维基百科则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。

大数据研究受到国内外学术界和工业界的广泛关注，已成为当今信息时代全世界讨论的热点。2008年，Nature杂志就推出大数据专刊，计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》，提出了通过收集、处理海量、复杂的数据信息，从而提升能力，加快科学和工程领域的创新步伐，转变学习教育模式，强化美国本土的安全”。2011年1月，微软公司同惠普公司合作开发了一系列能够提升生产力，同时提高决策速度的设备。此外，欧盟委员会也提出驾驳大数据浪潮的战略思路，日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。

近年来，我国也积极开展对大数据的研究。2011年10月，工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月，中国计算机学会青年计算机科技论坛也举办了“大数据时代，智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广，并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。

二、大数据的特点

目前，企业界和学术界都一致认为，大数据具有4个“V”特征，即：容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的`价值(Value)。

(1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。

(2) 种类(Variety)繁多。大数据数据源有多种，数据格式和种类不同于以前所规定的结构化数据范畴。

(3)价值(Value)密度低。如视频的例子，在不间断连续监控的过程中，可能有意义的数据仅有一两秒。

(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。

三、大数据应用的领域

大数据产业的发展将推动全球经济由粗放型向集约型转变，这将对提升企业整体竞争力和政府监管能力具有意义深远的影响。

商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一系列非结构化数据的分析，了解不同顾客的购物习惯，公司从所销售的数据进行分析，从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台，为客户量身打造了一整套完善的网购体验产品。

大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术，通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享，从而得到客户的个人信用等级，以推断出客户的支付需求与能力。

随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年，中国公布的《十二五规划》指出：要重点建设国家级、省级和地市级三级医疗卫生信息平台，建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入，医疗数据信息的存储将愈加被关注，医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。

除此之外，大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息，在开展对业务数据进行技术管理的同时，企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息，并且对其进行分析处理，从而增强决策的正确性、规避风险。

四、大数据所面临的挑战

大数据技术使人们能够更好地利用之前不能使用的各个数据类型，找出被忽略的信息，促进企业组织更加高效、智能。但随着对大数据研究的不断深入，人们也更加意识到当大数据技术向人们敞开“方便之门”的同时，也带来了众多的挑战：

(1)大数据需要更为专业化的管理技术人才。

(2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。

(3)大数据的利用对信息安全提出了更高要求。

(4)大数据的集成与管理问题。

这些挑战已成为关系到未来大数据发展的重要因素，同时也成为未来引领大数据发展的推动力。

五、结束语

大数据已经逐步渗透到人们工作生活的诸多领域中，对于大数据的研究也在不断的深化。本文针对大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。大数据的发展还处于初级阶段，还有更为广阔的空间需要人们不断开拓，如何合理地利用大数据、更加高效地处理大数据来为人们服务仍需要广大研究者不断地研究和探索。

参考文献：

[1]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报，2014，46(6)：957- 972.

[2]严霄凤，张德馨.大数据研究[J].计算机技术与发展，2013，23(4)：168-172.

[3]刘俊.基于大数据流的Multi-Agent系统模型研究[J].计算机技术与发展， 2007，17(5)：166-169.

发展历程：十年来大数据产业高速增长，我国信息智能化程度得到显著提升

我国大数据产业布局相对较早，2011年，工信部就把信息处理技术作为四项关键技术创新工程之一，为大数据产业发展奠定了一定的政策基础。自2014年起，“大数据”首次被写进我国政府工作报告，大数据产业上升至国家战略层面，此后，国家大数据综合试验区逐渐建立起来，相关政策与标准体系不断被完善，到2020年，我国大数据解决方案已经发展成熟，信息社会智能化程度得到显著提升。

市场规模：2020年市场规模超6000亿 维持高速增长

中国大数据产业联盟发布的《2021中国大数据产业发展地图暨中国大数据产业发展白皮书》指出，2018年以来，大数据技术的快速发展，以及大数据与人工智能、VR、5G、区块链、边缘智能等新技术的交汇融合，持续加速技术创新。与此同时，伴随新型智慧城市和数字城市建设热潮，各地与大数据相关的园区加速落地，大数据产业持续增长。

赛迪顾问的数据显示，2020年中国大数据产业规模达6388亿元，同比增长，预计未来三年保持15%以上的年均增速，到2023年产业规模超过10000亿元。

市场格局

——细分市场格局：软硬件占据行业主要市场

目前，我国的大数据产业尚处于初级建设阶段，从市场结构来分，大数据产业可划分为大数据硬件、软件以及服务三类市场。

根据《IDC全球大数据支出指南》，2020年中国大数据市场最大的构成部分仍然来自于传统硬件部分——服务器和存储，占比超过40%，其次为IT服务和商业服务，两者共占的比例，剩余由的大数据软件所构成。从软件角度来看，2020年中国最大的三个细分子市场依次为终端用户查询汇报分析工具(End-User Query, Reporting, and Analysis Tools)、人工智能软件平台(AI Software Platforms)以及关系型数据仓库(Relational Data Warehouses)，并且IDC预计，三者总和占中国整体大数据软件市场的比例接近50%。

——应用市场格局：互联网、政府、金融为大数据主要应用领域

从具体行业应用来看，互联网、政府、金融和电信引领大数据融合产业发展，合计规模占比为。互联网、金融和电信三个行业由于信息化水平高，研发力量雄厚，在业务数字化转型方面处于领先地位;政府大数据成为近年来政府信息化建设的关键环节，与政府数据整合与开放共享、民生服务、社会治理、市场监管相关的应用需求持续火热。此外，工业大数据和健康医疗大数据作为新兴领域，数据量大、产业链延展性高，未来市场增长潜力大。

发展趋势与前景

——发展趋势：数据治理成为大数据发展的重要方向

——发展前景预测

据赛迪顾问预测，2023年中国大数据产业市场规模将超过10000亿元，2021-2023年增速将达到15%以上。在此基础上，前瞻测算，到2027年我国大数据产业市场规模将接近18000亿元。

—— 更多行业相关数据请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长，增速与政策出台密切相关

根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。

大数据新增企业数量的变化与新政策的出台密不可分。2015年8月国务院颁布《促进大数据发展行动纲要》，大数据由此正式上升为国家发展战略。2016年工信部印发了《大数据产业发展规划(2016-2020年)》，推动大数据产业进一步发展。另一方面，新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型，大数据的产业支撑得到强化，应用范围加速拓展，产业规模实现相应快速增长。

大数据企业地域分布以北上广为主

根据中国信息通信研究院监测统计，当前我国活跃的大数据企业超过3000家。我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。受政策环境，人才创新，资金资源等因素影响，北京大数据产业实力雄厚，大数据企业数量约占全国总数的35%。依托京津冀大数据综合试验区，天津、石家庄、廊坊、张家口、秦皇岛等地大数据产业蓬勃发展，依靠良好的政策基础、科研实力、地理位置和交通优势，分别形成了大数据平台服务和应用开发、数字智能制造、旅游大数据等创新企业集聚中心，在信息产业领域形成了竞争优势。

行业应用领域丰富，企业服务、医疗健康、金融等细分领域前景可期

根据中国信通院对1404家涉及行业大数据应用的企业进行的统计整理，从中可以看出，金融、医疗健康、政务是大数据行业应用的最主要类型。除此之外依次是互联网、教育、交通运输、电子商务、供应链与物流、农业、工业与制造业、体育文化、环境气象、能源行业。

从融资细分领域分布来看，大数据行业融资企业分布在近20个领域，大数据行业迎来历史新机遇，在企业服务、医疗健康、金融等垂直细分领域的大数据应用展现出巨大潜力。大数据产业增量蓝海市场正在逐步打开，截止到2019年，企业服务领域的企业获投占比最高为62%，金融行业次之为13%，健康医疗为8%。随着互联网与移动互联网的进一步普及渗透，以及IT基础设施的逐步完善，企业服务市场仍将继续扩大。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

行业主要上市公司：易华录(300212)、美亚柏科(300188)、海量数据(603138)、同有科技(300302)、海康威视(002415)、依米康(300249)、常山北明(000158)、思特奇(300608)、科创信息(300730)、神州泰岳(300002)、蓝色光标(300058)等

本文核心数据：产业链全景图、区域热力地图、代表企业业绩情况、兼并重组动向

大数据产业链全景梳理：大数据产业链庞大

大数据产业链覆盖范围广，上游是基础支撑层，主要包括网络设备、计算机设备、存储设备等硬件供应，此外，相关云计算资源管理平台、大数据平台建设也属于产业链上游;

大数据产业中游立足海量数据资源，围绕各类应用和市场需求，提供辅助性的服务，包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全，以及基于数据的IT运维等;

大数据产业下游则是大数据应用市场，随着我国大数据研究技术水平的不断提升，目前，我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。

大数据产业上游基础设施具体包括IT设备、电源设备、基础运营商及其他设备，相关代表企业华为、中兴通讯、艾默生、三大运营商等。

中游大数据领域可以细分为数据中心、大数据分析、大数据交易与大数据安全等子行业，相关代表企业包括宝信软件、数据港、久其软件、拓尔思、上海数据交易中心、贵阳大数据交易所与华云数据等。

在下游应用市场，我国大数据应用范围正在快速向各行各业延伸，除发展较早的政务大数据、交通大数据外，在工业、金融、健康医疗等众多领域大数据应用均初见成效。

大数据产业链区域热力地图：企业主要分布在京津冀、珠三角与东部沿海等地区

从区域分布来看，目前我国大数据产业上市公司主要分布在京津冀、珠三角与东部沿海等经济发达地区，行业龙头企业易华录与美亚柏科分别位于北京市与福建省。北京的大数据上市企业最多，代表企业有易华录、同有科技、神州泰岳与拓尔思等;另外广东省的大数据上市企业也较多，代表企业为欧比特与奥飞数据等。

根据企查猫数据，截止2022年10月26日，全国大数据产业中“存续”及“在业”的企业多集中分布在华南和华东沿海地区。其中，广东省的大数据企业最多。

大数据产业上市公司业绩情况：产业整体毛利率较高

从大数据代表企业的业绩情况来看，大数据产业代表企业的毛利率均值达到35%，行业整体毛利率较高。从单独企业情况来看，行业主要上市公司的业务规模差距明显，毛利率水平也因业务侧重点的不同而呈现出分层差异，例如美亚柏科与拓尔思的毛利率水平均超过50%。上市企业具体的业绩情况如下表所示：

大数据产业兼并与重组动向：横向整合为主

大数据产业的兼并重组涉及到各个行业领域，因此兼并重组事件较多。按照兼并重组目的来分类，可以分为横向整合、多元化、纵向整合、战略合作、业务转型和借壳上市/整体上市。根据统计的资料，截至2022年10月14日，大数据产业兼并重组目的主要以横向整合为主，发生事件数量占比约为85%。

大数据产业的兼并重组涉及的行业包括企业服务、零售消费、物流、文娱传媒等。根据不同行业选取部分代表兼并重组事件总结如下：

更多本行业研究分析详见前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

大数据由于其异构性和异质性的特征，提高大数据格式转化的效率成为了增加大数据技术应用价值的必经途径，而提升大数据计算能力的关键在于提高数据的转移速率，这就要求技术人员要及时对大数据进行整合与处理。

在大数据的处理中，数据的重组与错误数据的再利用都是有效提高大数据应用价值的措施。在应用实践研究方面，目前大数据在实际中的研究应用主要体现为数据管理、数据搜索分析和数据集成。其中，数据管理主要用于大型互联网数据库和新型数据储存模型与集成系统中，而数据搜索分析则多用于模型社交网络中，数据集成则通过将不同来源不同作用的数据进行整合从而开发出整体数据库新的功能，目前正处于研究发展的起始阶段。