大数据与数据挖掘结课论文

世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学，从政府到艺术，这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词：“大数据”。大数据时代什么意思？大数据概念什么意思？大数据分析什么意思？所谓大数据，那到底什么是大数据，他的来源在哪里，定义究竟是什么呢？

一：大数据的定义。

1、大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

互联网是个神奇的大网，大数据开发也是一种模式，你如果真想了解大数据，可以来这里，这个手机的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。

2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术，包括大规模并行处理(MPP)数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。

3、大数据应用，是 指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展，才能充分实现大数据的价值。当你的技术达到极限时，也就是数据的极限”。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。

二：大数据的类型和价值挖掘方法

1、大数据的类型大致可分为三类：1)传统企业数据(Traditionalenterprisedata)：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。2)机器和传感器数据(Machine-generated/sensor data)：包括呼叫记(CallDetailRecords)，智能仪表，工业设备传感器，设备日志(通常是Digital exhaust)，交易数据等。3)社交数据(Socialdata)：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。2、大数据挖掘商业价值的方法主要分为四种：1)客户群体细分，然后为每个群体量定制特别的服务。2)模拟现实环境，发掘新的需求同时提高投资的回报率。3)加强部门联系，提高整条管理链条和产业链条的效率。4)降低服务成本，发现隐藏线索进行产品和服务的创新。

三：大数据的特点

业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说，大数据具有4个基本特征：1、是数据体量巨大数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量;百度资料表明，其新首页导航每天需要提供的数据超过(1PB=1024TB)，这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。2、是数据类别大和类型多样数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化 数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。3、是处理速度快在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。4、是价值真实性高和密度低数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

四：大数据的作用

1、对大数据的处理分析正成为新一代信息技术融合应用的结点移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。2、大数据是信息产业持续高速增长的新引擎面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域，可提高诊断准确性和药物有效性;在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。4、大数据时代科学研究的方法手段将发生重大改变

例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

五：大数据的商业价值

1、对顾客群体细分“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。2、模拟实境运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案投入回报最高。3、提高投入回报率提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享，帮助他们利用“大数据”创造商业价值。4、数据存储空间出租企业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用户两大类。主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如亚马逊、网易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。5、管理客户关系客户管理应用的目的是根据客户的属性(包括自然属性和行为属性)，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里，在群朋友圈里发布新产品预告、特价销售通知，完成售前售后服务等。6、个性化精准推荐在运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。以日常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以给需要的人发送需要的信息，这样“垃圾短信”就成了有价值的信息。在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。7、数据搜索数据搜索是一个并不新鲜的应用，随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典

六：大数据对经济社会的重要影响

1、能够推动实现巨大经济效益比如对中国零售业净利润增长的贡献，降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。2、能够推动增强社会管理水平大数据在公共服务领域的应用，可有效推动相关工作开展，提高相关部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。3、如果没有高性能的分析工具，大数据的价值就得不到释放对大数据应用必须保持清醒认识，既不能迷信其分析结果，也不能因为其不完全准确而否定其重要作用。1)由于各种原因，所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据，加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟，所以对计算机完成的大数据分析处理的结果，无法要求其完全准确。例如，谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感暴发，但由于微博上无用信息的干扰，这种预测也曾多次出现不准确的情况。2)必须清楚定位的是，大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维，辅助决策。简单而言，若是处理一个问题，通常人能够想到一种方法，而大数据能够提供十种参考方法，哪怕其中只有三种可行，也将解决问题的思路拓展了三倍。所以，客观认识和发挥大数据的作用，不夸大、不缩小，是准确认知和应用大数据的前提。

七：最后北京开运联合给您总结一下

不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。1、从大数据的价值链条来分析，存在三种模式：1)手握大数据，但是没有利用好;比较典型的是金融机构，电信行业，政府机构等。2)没有数据，但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，开运联合等。3)既有数据，又有大数据思维;比较典型的是Google，Amazon，Mastercard等。2、未来在大数据领域最具有价值的是两种事物：

浅谈基于大数据时代的机遇与挑战论文推荐

在学习和工作中，大家总少不了接触论文吧，论文的类型很多，包括学年论文、毕业论文、学位论文、科技论文、成果论文等。为了让您在写论文时更加简单方便，以下是我精心整理的浅谈基于大数据时代的机遇与挑战论文，仅供参考，希望能够帮助到大家。

浅谈基于大数据时代的机遇与挑战论文

1、大数据的基本概况

大数据(Big Data)是指那些超过传统数据库系统处理能力的数据，其具有以下四个基本特性，即海量性、多样性、易变性、高速性。同时数据类型繁多、数据价值密度相对较低、处理速度快、时效性要求高等也是其主要特征。

2、大数据的时代影响

大数据，对经济、政治、文化等方面都具有较为深远的影响，其可帮助人们进行量化管理，更具科学性和针对性，得数据者得天下。大数据对于时代的影响主要包括以下几个方面：

(1)“大数据决策”更加科学有效。如果人们以大数据分析作为基础进行决策，可全面获取相关决策信息，让数据主导决策，这种方法必将促进决策方式的创新和改变，彻底改变传统的决策方式，提高决策的科学性，并推动信息管理准则的重新定位。2009 年爆发的甲型H1N1 流感就是利用大数据的一个成功范例，谷歌公司通过分析网上搜索的大量记录，判断流感的传播源地，公共卫生机构官员通过这些有价值的数据信息采取了有针对性的行动决策。

(2)“大数据应用”促进行业融合。虽然大数据源于通信产业，但其影响绝不局限于通信产业，势必也将对其他产生较为深远的影响。目前，大数据正逐渐广泛应用于各个行业和领域，越来越多的企业开始以数据分析为辅助手段加强公司的日常管理和运营管理，如麦当劳、肯德基、苹果公司等旗舰专卖店的位置都是基于大数据分析完成选址的，另外数据分析技术在零售业也应用越来越广泛。

(3)“大数据开发”推动技术变革。大数据的应用需求，是大数据新技术开发的源泉。相信随着时代的不断发展，计算机系统的数据分析和数据挖掘功能将逐渐取代以往单纯依靠人们自身判断力的领域应用。借助这些创新型的大数据应用，数据的能量将会层层被放大。

另外，需要注意的是，大数据在个人隐私的方面，容易造成一些隐私泄漏。我们需要认真严肃的对待这个问题，综合运用法律、宣传、道德等手段，为保护个人隐私，做出更积极的努力。

3、大数据的应对策略

布局关键技术研发创新。

目前而言，大数据的技术门槛较高，在这一领域有竞争力的多为一些在数据存储和分析等方面有优势的信息技术企业。为促进产业升级，我们必须加强研究，重视研发和应用数据分析关键技术和新兴技术，具体可从以下几个方面入手：第一，夯实发展基础，以大数据核心技术为着手点，加强人工智能、机器学习、商业智能等领域的理论研究和技术研发，为大数据的应用奠定理论基础。二是加快基础技术(非结构化数据处理技术、可视化技术、非关系型数据库管理技术等)的研发，并使其与物联网、移动互联网、云计算等技术有机融合，为解决方案的制定打下坚实基础。三是基于大数据应用，着重对知识计算( 搜索) 技术、知识库技术、网页搜索技术等核心技术进行研发，加强单项技术产品研发，并保证质量的提升，同时促使其与数据处理技术的有机结合，建立科学技术体系。

提高软件产品发展水平。

一是促进以企业为主导的产学研合作，提高软件发展水平。二是运用云计算技术促进信息技术服务业的转型和发展，促进中文知识库、数据库与规则库的建设。三是采取鼓励政策引导软硬件企业和服务企业应用新型技术开展数据信息服务，提供具有行业特色的系统集成解决方案。四是以大型互联网公司牵头，并聚集中小互联网信息服务提供商，对优势资源进行系统整合，开拓与整合本土化信息服务。五是以数据处理软件商牵头，这些软件商必须具备一定的基础优势，其可充分发挥各自的数据优势和技术优势，优势互补，提高数据软件开发水平，提高服务内容的精确性和科学性。同时提高大数据解决方案提供商的市场能力和集成水平，以保障其大数据为各行业领域提供较为成熟的解决方案。

加速推进大数据示范应用。

大数据时代，我们应积极推进大数据的示范应用，可从以下几个方面进行实践：第一，对于一些数据量大的领域(如金融、能源、流通、电信、医疗等领域)，应引导行业厂商积极参与，大力发展数据监测和分析、横向扩展存储、商业决策等软硬件一体化的行业应用解决方案。第二，将大数据逐渐应用于智慧城市建设及个人生活和服务领域，促进数字内容加工处理软件等服务发展水平的提高。第三，促进行业数据库(特别是高科技领域)的深度开发，建议针对不同的行业领域建立不同的专题数据库，以提供相应的内容增值服务，形成有特色化的服务。第四，以重点领域或重点企业为突破口，对企业数据进行相应分析、整理和清洗，逐渐减少和去除重复数据和噪音数据。

优化完善大数据发展环境。

信息安全问题是大数据应用面临的主要问题，因此，我们应加强对基于大数据的情报收集分析工作信息保密问题的研究，制定有效的防范对策，加强信息安全管理。同时，为优化完善大数据发展环境，应采取各种鼓励政策(如将具备一定能力企业的数据加工处理业务列入营业税优惠政策享受范围)支持数据加工处理企业的发展，促使其提高数据分析处理服务的水平和质量。三是夯实大数据的应用基础，完善相关体制机制，以政府为切入点，推动信息资源的集中共享。

做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进国家和企业的快速发展。

大数据为经营的横向跨界、产业的越界混融、生产与消费的合一提供了有利条件，大数据必将在社会经济、政治、文化等方面对人们生活产生巨大的影响，同时大数据时代对人类的数据驾驭能力也提出了新的挑战与机遇。面对新的挑战与发展机遇，我们应积极应对，以掌握未来大数据发展主动权。

结构

论文一般由名称、作者、摘要、关键词、正文、参考文献和附录等部分组成，其中部分组成（例如附录）可有可无。

1、论文题目

要求准确、简练、醒目、新颖。

2、目录

目录是论文中主要段落的'简表。（短篇论文不必列目录）

3、内容提要

是文章主要内容的摘录，要求短、精、完整。

4、关键词定义

关键词是从论文的题名、提要和正文中选取出来的，是对表述论文的中心内容有实质意义的词汇。关键词是用作计算机系统标引论文内容特征的词语，便于信息系统汇集，以供读者检索。每篇论文一般选取3-8个词汇作为关键词，另起一行，排在“提要”的左下方。

主题词是经过规范化的词，在确定主题词时，要对论文进行主题分析，依照标引和组配规则转换成主题词表中的规范词语。（参见《汉语主题词表》和《世界汉语主题词表》）。

5、论文正文

（1）引言：引言又称前言、序言和导言，用在论文的开头。引言一般要概括地写出作者意图，说明选题的目的和意义, 并指出论文写作的范围。引言要短小精悍、紧扣主题。

（2）论文正文：正文是论文的主体，正文应包括论点、论据、论证过程和结论。主体部分包括以下内容：

a.提出问题-论点；

b.分析问题-论据和论证；

c.解决问题-论证方法与步骤；

d.结论。

6、参考文献

一篇论文的参考文献是将论文在研究和写作中可参考或引证的主要文献资料，列于论文的末尾。参考文献应另起一页，标注方式按进行。

7、论文装订

论文的有关部分全部抄清完了，经过检查，再没有什么问题，把它装成册，再加上封面。论文的封面要朴素大方，要写出论文的题目、学校、科系、指导教师姓名、作者姓名、完成年月日。论文的题目的作者姓名一定要写在表皮上，不要写里面的补页上。

事实上，所谓“大数据时代”的说法并不新鲜，早在2010年，“大数据”的概念就已由美国数据科学家维克托·迈尔·舍恩伯格系统地提出。他在 大数据时代一书中说，以前，一旦完成了收集数据的目的之后，数据就会被认为已经没有用处了。比如，在飞机降落之后，票价数据就没有用了；一个网络检索命令完成之后，这项指令也已进入过去时。但如今，数据已经成为一种商业资本，可以创造新的经济利益。数据能够成为一种资本，与移动互联网有密切关系。随着智能手机、平板电脑等移动数码产品的“白菜化”，Wi-Fi信号覆盖的无孔不入，越来越多的人不再有“在线时间”和“不在线时间”之分，只要他们愿意，便可几乎24小时一刻不停地挂在线上；在线交易、在线支付、在线注册等网络服务的普及固然方便了用户，却也让人们更加依赖网络，依赖五花八门的网上平台。而随着科技的进步，以往需要几盒软盘或一张光盘保存的信息，如今只需一片指甲盖大小的芯片，即可全部储存而且绰绰有余；以往需要电脑、显示器、读卡器等专门设备才能读取的数码信息载体，如今或许只需一部智能手机和一个免费下载的APP第三方应用程序，便可将数据一览无余。大数据时代的科技进步，让人们身上更多看似平常的东西成为“移动数据库”，如带有存储芯片的第二代银行卡、信用卡，带有芯片读取功能的新型护照、驾驶证、社保卡、图书证，等等。在一些发达国家，官方为了信息录入方便，还不断将多种“移动数据库”的功能组合成一体。数字化时代使得信息搜集、归纳和分析变得越来越方便，传统的随机抽样被“所有数据的汇拢”所取代，基于随机抽样而变得重要的一些属性，如抽样的精确性、逻辑思辨和推理判断能力，就变得不那么重要，尽可能汇集所有数据，并根据这些数据得出趋势和结论才至为关键。简单说，以往的思维决断模式是基于“为什么”，而在“大数据时代”，则已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此，将更精确，更有预见性。不过，一些学者指出，由于“大数据”理论过于依靠数据的汇集，那么一旦数据本身有问题，在“只问有什么，不问为什么”的模式下，就很可能出现“灾难性大数据”，即因为数据本身的问题，而做出错误的预测和决策。

获得学位意味着被授予者的受教育程度和学术水平达到规定标准的学术称号， 经在高等学校或科学研究部门学习和研究，成绩达到有关规定，由有关部门授予并得到国家社会承认的专业知识学习资历。