国内外环境大数据研究论文

《大数据技术对财务管理的影响》

摘 要：大数据可以快速帮助财务部门建立财务分析工具，而不是单纯做账。大数据应该不仅仅局限于本单位的微观数据，更为重要的关注其他单位的宏观数据。大数据技术不仅带来了企事业单位财务数据搜集的便利和挑战，而且也衍生出了诸多关于单位人员个人信息保密等问题的积极探索。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响，以期为财务数据管理的安全性提供一种分析的依据和保障。

关键词：大数据;财务管理;科学技术;知识进步

数据是一个中性概念。人类自古以来几千年的辉煌变迁，无外乎就是数据的搜集和使用过程而已。纵观古今中外的人际交流与合作，充满着尔虞我诈和勾心斗角，那么他们在争什么呢?实际上是在争夺信息资源;历史上品相繁多的战争，实际上不是在维持什么所谓的正义和和平，抑或为了人间的正道，而是在争夺数据的使用权;“熙熙攘攘皆为利往、攘攘熙熙皆为利来”的世俗变迁逻辑已经让位于数据游戏的哲学法则。人类自英国产业革命以来所陆续发明的技术，尽管被人们美其名曰“第四次科技革命的前沿技术”，实际上不过就是“0”和“1”两个数字的嬉戏而已。正如有学者指出的，汽车技术、生命科学技术、基因技术、原子能技术、宇宙航天技术、纳米技术、电子计算机技术，看起来美轮美奂，实则隐含着杀机，那就是由于人们把技术当成了目的后，导致了“技术专制”后的“技术腐败”和“技术灾难”。人类一方面在懒惰基因的诱惑下，发明了诸多所谓的机械装置，中国叫“机巧”;另一方面又在勤奋的文化下，发明了诸多抑制懒惰的制度和机制。本来想寻求节俭，结果却越来越奢侈;本来想节约，结果却越来越浪费;本来想善良，结果却越来越邪恶;本来想美好，结果却越来越丑陋。正如拉美特里所说：“人是什么?一半是天使，一半是野兽。当人拼命想成为天使的时候，其实他会逐渐变成野兽;当人想极力崇拜野兽的时候，结果会逐渐接近天使。”我们不是在宣讲宿命的技术，我们只是在预测技术的宿命。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响，以期为财务数据管理的安全性提供一种分析的依据和保障。

一、大数据技术加大了财务数据收集的难度

财务数据的收集是一个复杂的系统工程，国际上一般采用相对性原则，即首先利用不完全统计学的知识对数据进行初步的计算，接着对粗糙的数据进行系统的罗列，最后对类型化的数据进行明分梳理。使用者如果想进入该数据库，就必须拥有注册的用户名和密码。由于国际上对于网络数据的监督均采取了实名注册的模式，所以一旦该用户进入到核心数据库之后想窃取数据，一般都会暴露自己的bug地址源，网管可以循着这一唯一性存留，通过云计算迅速找到该网络终端的IP地址，于是根据人机互动原理，再加上各种网吧所安装的监控平台，可以迅速找到数据库的剽窃者。如果按照上述数据变迁逻辑，那么财务数据的收集似乎变得易如反掌，而事实并非如此。因为：①数据的量化指标受制于云计算服务器的安全性。当云服务器受到不可抗力的打击，如地震、水患、瘟疫、鼠疫、火灾、原子能泄露或各种人为破坏的作用，数据会呈现离散型散落。这时的数据丢失会演变成数字灾难;②各种数据版权的拥有者之间很难实现无缝隙对接。比如在经过不同服务器的不同数据流之间，很难实现现实意义上的自由流通。正如专家所指出的，教育服务器的事业单位的人员数据、行政部门人事管理部门的保密性数据、军事单位的军事数据、医疗卫生事业的数据、工商注册数据、外事数据等在无法克服实际权力的分割陷阱之前，很难实现资源的共享，这时对数据的所谓搜集都会演化为“不完全抽样”的数字假象。由此而衍生的数据库充其量只是一部分无用的质料而已。

二、大数据技术影响了财务数据分析的准确性

对于搞财务管理的人来说，财务数据的收集只是有效实现资源配置的先决条件，真正有价值的或者说最为关键的环节是对财务数据的分析。所谓“财务数据分析”是指专业的会计人员或审计人员对纷繁复杂的单位人力资源信息进行“去魅”的过程。所谓“去魅”就是指去粗取精、去伪存真、由此及彼、由表及里、内外互联，彼此沟通、跨级交流、跨界合作。在较为严格的学术意义上，分析的难度广泛存在与财务工作人员的日常生活中。大数据技术尽管为数据的搜集提供了方便法门，但同时加大了财务人员的工作量和工作难度。原先只是在算盘或者草稿纸上就可以轻松解决的数据计算，现在只能借助于计算机和云图建模。对于一些借助于政治权力因素或者经济利益因素，抑或是借助于自身的人际关系因素上升到财务管理部门的职工来说，更大的挑战开始了。他们不知道如何进行数据流的图谱分析，不知道基于计算机软件技术的集成线路技术的跌级分类，不知道基于非线性配置的液压传动技术的模板冲压技术，不知道逆向网络模型来解决外部常态财务变量的可篡改问题。由于技术不过硬，导致了领导安排的任务不能在规定的时间内完成，即时仓促做完的案例，也会因为数据分析技术的落后而授人以柄，有的脾气不好的领导可能会大发雷霆;脾气好的领导只是强压着内心的怒火，那种以静制动的魄力和安静更是摄魂夺魄。所以说数据分析难度的增加不是由于财务人员的良心或善根缺失，在很大程度上是由于技术的进步和大数据理念给我们带来的尖锐挑战。对于普通的没有家庭和社会背景的财务管理人员来说，能做的或者说唯一可做的就是尊重历史发展的周期律，敬畏生生不息的科学革命，认真领会行政首长的战略意图，提升自己的数据分析技术，升华在自身的“硬实力”。否则觊觎于领导的良心发现和疏忽大意，期望技术的静止或者倒退，抑或是在违法犯罪之后天真的认为可以相安无事，可能都只会落得“恢恢乎如丧家之犬”的境遇。

三、大数据技术给财务人事管理带来了挑战

一个单位的财务人事管理牵扯到方方面面的问题，其意义不可小视。一般来讲，单位在遴选财务管理部门管理人员的时候，大多从德才绩行四个方面全面权衡。然而这种“四有标准”却隐含着潜在的危机和不可避免的长远威胁，这其中的缘由就在于人性的复杂性和不可猜度性。历史和现实一再告诉人们，单纯看眼前的表现和话语的华丽，不仅不能对人才的素质进行准确的评价，而且还会导致官员的远期腐败和隐性腐败。对于中国的腐败，国人大多重视了制度和道德的缘起，却往往忽视了财务管理的因素。试想如果财务管理人员牢牢践行“焦裕禄精神”，不对任何政治权力开绿灯，国有资产又如何流出国库而了无人知晓呢?事实上，中国的所有腐败，不论是国有资产的国外流失抑或是国内流失，都在很大程度上与财务人员有关，可能有些管理人员会强调那不是自己的责任，出纳签字是领导的授意，会计支出费用那是长官的意思清晰表示。实际上，处于权力非法授予的签字、盖章、取现、流转和变相洗钱都是违法的，甚至是犯罪的。间接故意也是应当追究责任的。值得高兴的是，伴随着数字模拟技术的演进，财务管理中的腐败现象和人事管理科学化问题得到了极大的改善，相关领导伸手向财务要钱的行为，不仅会受到数据进入权限的限制，而且还会受到跟数据存留的监控，只要给予单位科技人员以足够的权限，想查找任何一笔资金的走向就变得非常简单，而且对于每一笔资金的经手者的信息也会了如指掌。这在一定程度上减少了只会指挥、不懂电脑的首长的孵化几率。

四、大数据技术加大了单位信息保密的难度

IMA(美国注册会计师协会)研发副总裁Raef・Lawson博士曾经指出：“客观上讲，大数据技术的正面效用是非常明显的，但一个不容回避的事实是大数据技术为财务信息的安全性提出了越来越严峻的挑战。我们已经注意到，在欧洲大陆、美洲大陆已经存在基于数据泄露而产生的各种抗议活动，这些活动牵扯到美国的数据窃听丑闻、俄罗斯对军事数据的强制性战友举动、以色列数据专家出卖阿拉伯世界经济数据的案件、在东方的中国香港一部分利用数据的窃取而发家致富的顶尖级黑客专家。”在数据集成的拓扑领域，大数据技术的保密性挑战肇始于蚁群算法的先天性缺陷。本来数据流的控制是依靠各种所谓的交易密码，实际上这些安全密码只是数据的另一种分类和组合而已。在数据的非线性组合和线路的真空组装模式下，任何密码都只是阻挡了技术侏儒的暂时性举动，而没有超出技术本身的惰性存在。当一个hacker掌握了源代码的介质性接洽技术之后，所剩下的就是信息和数据的搜集了，只要有足够的数据源，信息的户的几乎是轻而易举的。

2003年，北京的一家名为飞塔公司的防火墙安全软件在中关村科技城闪亮上市。该安全控制软件的开发者随机开发了一款名曰MAZE天网的软件，并且采用了“以其之矛攻其之盾”的攻防策略。测试的结果是尽管maze的源代码采用了24进制蝶形加密技术，但 FortiGate防火墙技术仍然能够阻挡住善意木马对电脑终端用户信息的剽窃和非法利用。FortiWeb已经通过全球权威的ICSA认证，可以阻断如跨站脚本、SQL注入、缓冲区溢出、远程文件包含、拒绝服务，同时防止敏感数据库外泄，为企事业单位Web应用提供了专业级的应用安全防护。飞塔公司之所以耗费人力和物力去开发这一新型的换代产品，就在于大数据时代对单位信息保密性的冲击。试想，如果一个单位连职工最起码的个人信息都不能安全存储的话，那么财务管理的科学性和人本性将从何谈起?只能说，即使在人权保护意识相对薄弱的法治环境里，我们也应该尽量提升自己的保密意识，加强对个人信息的保护和合理运用。

作者简介：田惠东(1967- )，女，汉族，河北定兴人，副高级会计师，本科学历，研究方向：财务管理，单位：保定市第一医院

大数据时代电力营销管理创新研究论文

摘要： 对电力企业来说，大数据营销能基于海量数据的分析，为其制定营销战略提供依据，而如何在大数据基础上进行电力营销管理创新是亟待解决的大问题。本文首先阐述了目前基于大数据电力营销管理的弊端；其次分析了基于大数据的电力营销管理面临的机遇和挑战；最后提出了基于大数据的电力营销管理创新，以促进电力企业稳定、长久发展。

关键词： 大数据；电力营销管理；创新

在当前的大数据环境下，电力系统既面临新的发展机遇，也面临着新的挑战。对电力系统来说，大数据不仅是科技生产力进步的具体体现，也是新形势下电力系统发展、管理及技术改革的重要依据，电力系统的大数据包括生产、运营和管理三方面。电力营销是电力系统的重要部分，对提高企业的核心竞争力及确保企业的可持续发展具有十分重要的作用。然而由于各种因素的影响，电力营销管理目前存在诸多弊端，在大数据时代，对电力营销创新管理模式进行研究迫在眉睫，基于此，笔者对基于大数据的电力营销管理创新进行研究。

1.基于大数据的电力营销管理的弊端

在大数据背景下，国内电力企业营销管理存在诸多弊端，具体表现在下述几方面：

第一，电力营销管理理念亟待改进。电力行业长久以来属于国家的垄断行业，而随着各种新型能源的不断出现，电能面临着巨大的竞争，然而其营销设计仍以业务导向为核心，很少考虑市场的竞争状况和客户的需求，没有建立一种以客户为核心的营销管理机制；

第二，电力营销业务功能亟待完善。电力系统的营销政策、技术研究、运维及市场开拓等方面的机构不完善，不健全，部分功能缺失；

第三，电力营销运营效率亟待提升。电能计量检定、人员及相关设备重复配置；规划、生产的部门对电力营销管理支持力度较弱；故障抢修、业扩报装等服务流程不协同。综上所述，电力营销管理亟待进行创新，以适应新形势下客户对供电服务的要求。

2.基于大数据的电力营销管理面临的机遇和挑战

机遇

在大数据快速发展的背景下，电力系统营销管理面临的机遇主要表现为：

第一，国内经济稳定发展，电力需求仍持续增加；

第二，国家实施节能减排，电能应用范围更加广泛；

第三，国家电网创建“双一流”，为加快营销发展注入新动力。

挑战

在大数据快速发展的背景下，电力系统营销管理也面临诸多挑战，具体表现为：

第一，国家经济转型期的'结构优化调整及节能减排战略的实施，国家控制能源消费总量，大工业用电比重会呈现一定程度的下降。循环经济、节能环保产业、分布式电源等会日益增加，对电力营销市场的发展带来威胁，影响电能的市场占有率；

第二，国家大力开发低碳技术，清洁能源要求必须建立一种新型的供用电模式，而现有的供电模式要满足这些应用需要法律、政策、技术等众多方面的支持才能实现；

第三，国家电网推进“三集五大”要求电力系统必须要转变营销发展方式。目前电力系统的营销仍然资源分散、管理层级多，亟待进行整合；营销管理的专业化、组织结构扁平化、管理层级等方面亟待改进，集约化、智能化的服务手段亟待提升等，使得目前电力系统的营销管理面临巨大挑战。

3.基于大数据的电力营销管理创新研究

在大数据及信息化背景下，电力企业要提高核心竞争力，必须要顺应时代潮流，及时对传统的营销管理体系进行重构，通过利用大数据分析研究结果进行电力营销，具有极大的市场价值。

通过大数据分析客户的潜在需求行为

大数据最主要的特征之一是海量的数据，电力企业要获取比较精准的数据，必须进行大量数据的分析研究寻找客户的潜在需求。所以对电力企业来说要重建营销管理体系，提高核心竞争力必须要制定多种方案，通过大数据的分析结果寻找潜在的客户需求，站在用户的角度，分析用户的电能消费行为和特点，通过这些分析及时改变自己的营销管理模式，提升服务质量，提高客户满意度和忠诚度，最终提高电力企业的知名度。

通过大数据分析精准定位消费客户，进行个性化营销

从大数据提供的海量信息中分析客户的消费行为，找出电力系统最精准的用户，以便电力企业的营销能实现精准化，同时根据精准化消费群体的特征建立针对性的营销方式，从而能划分出精准的消费客户，进行个性化营销。随着经济的发展和用户需求的提升，电力企业也逐渐重视电力营销的精准化，而大数据的出现不仅使精准化营销变得更加高效，也极大地提升了服务和产品质量，使得消费者市场也发生一定程度的变化。消费者市场的划分必须要经过大数据才能实现精准的分析，这种分析结果面临的是个体消费者，而并非是群体，在这种情况下，电力系统的个性化营销在不久的将来一定会成为电力系统的营销主体。

运用大数据分析，制品新产品，拓展新市场

对电力系统来说，传统的以业务导向为核心的营销管理已经难以满足现代化的需求，通过大数据分析结果制定针对性的营销策略是十分重要的，这对于电力企业开拓市场和业务起着决定性作用。如腾讯在开发游戏时，总是先通过大数据对游戏用户行为进行精准的分析然后再推出产品，通过这种方法能使其在推出手游时更具有针对性和精准性。因此电力企业通过使用大数据分析客户的消费行为，开拓新业务、新市场是未来发展的必然趋势，根据大数据分析的结果为客户制定更加个性化的需求，并进一步制定针对性的营销渠道，拓宽产品领域。

依靠互联网技术，合作开展大数据营销，开展多元化服务

随着互联网营销的风靡，很多行业越来越重视网络营销，他们通过使用大数据进行网络营销。电力系统要想持续、稳定、可持续发展，必须要充分利用互联网进行大数据营销，除了要在电力系统领域建立相关的数据库，利用资源优势外，还要不断拓展业务，通过业务延伸实现电力企业的多元化发展模式。多样化服务的开展可从下述几方面着手：客户经理对客户的用电状况进行详细的统计和分析，提出的建议中不仅要有生产班次的安排，还必须要为客户的用电状况提供针对性的无功补偿。站在客户角度为客户节约电费着想，为客户的用电负荷进行合理、科学的指导，这不仅能有效地节约电费，还能有效减少设备的能耗。电力企业还要在基于自身优势的基础上，不定期检查用电设备的运营状况，及时排查运行过程中存在的安全隐患，这对确保配电网的稳定运行具有重要作用。要对所在区域的电网进行改造时，要及时通知大客户，并将规划改造的详细情况与大客户进行沟通交流，以得到客户的理解和支持，这对电力企业的稳定发展意义重大。

与税务部门合作减小电费回收风险

对电力企业来说，电费能否正常回收是确保其正常运作和提高经济效益的关键环节，尤其是大客户的电费回收，由于受到各种因素的影响，电费回收难一直是难以解决的难题。目前多数电力企业为了加强电费回收，通常采取如下措施：强化合同管理、建立信用评级制度、严格客户资质审核、高压用户电费担保模式等，在这些措施中，高压用户担保模式具有较好的效果，然而也存在一定的不足之处。对电力企业来说，仅仅具有采集客户的用电信息数据，对客户的资金信息难以准确把握，高压用户担保模式虽然让电力企业通过银行掌握相关的资金信息，然而很多企业的现金流并不通过银行，因此获得信息并不准确，在一定程度上影响电费回收风险的控制效果。为了有效解决这种弊端，可建立一种能将用电企业的资金流动信息整合到电力系统大数据库的营销管理中，而与税务部门进行合作能达到此目的。具体实施措施如下：首先，与税务部门协调，将电力系统大数据平台增加一个调取用电企业每月纳税信息的模块；其次，根据用电企业的纳税和银行信贷状况，计算电费回收风险指数，评估风险；最后，根据评估结果建立预警机制，对于部分电费回收风险较大的企业可采取各种手段介入电费回收。

4结束语

综上所述，大数据时代的来临给传统企业和互联网企业的营销管理带来巨大的冲击，越来越多的企业开始利用大数据进行营销管理，电力企业也要与时俱进，持续改革，在大数据时代下重构营销管理体系，以提高其核心竞争力和经济效益。

参考文献：

[1]宋宝香.数据库营销:大数据时代引发的企业市场营销变革[J].价值工程,2014,31(30):132-134.

[2]孙柏抓.大数据技术及其在电力行业中的应用[J].电气时化,.

[3]庞建军.大数据背景下的电力营销市场行业发展趋势分析[J].科技视界,2014(32):295-296.

硕士论文开题报告模板4500字

本课题来源于作者在学习和实习中了解到的两个事实，属于自拟课题。

其一，作者在2011年7月在XXX公司调研，了解到现如今各行业都面临着数据量剧增长，并由此带来业务处理速度缓慢，数据维护困难等问题。为了应对此挑战，很多企业开实施大数据发展战略。现如今的大数据发展战略可以概括为两类，一类是垂直扩展。即采用存储容量更大，处理能力更强的设备，此种方式成本较大，过去很多大公司一直采用此种方法处理大数据。但自从2004年Google发布关于GFS，MapReduce和BigTable三篇技术论文之后，云计算开始兴起，2006年Apache Hadoop项目启动。随后从2009年开始，随着云计算和大数据的发展，Hadoop作为一种优秀的数据分析、处理解决方案，开始受到许多 IT企业的关注。相较于垂直扩张所需的昂贵成本，人们更钟情于采用这种通过整合廉价计算资源的水平扩展方式。于是很多IT企业开始探索采用Hadoop框架构建自己的大数据环境。

其二，作者自2013年4月在XXX实习过程中进一步了解到，因为关系数据库在存储数据格式方面的局限，以及其Schema机制带来的扩展性上的不便，目前在大部分的大数据应用环境中都采用非结构化的数据库，如列式存储的Hbase，文档型存储的MangoDB，图数据库neo4j等。这些非结构化数据库因为可扩展性强、资源利用率高，高并发、响应速度快等优势，在大数据应用环境中得到了广泛的应用。但此种应用只解决了前端的业务处理，要真正利用大数据实现商务智能，还需要为决策支持系统和联机分析应用等提供一数据环境——数据仓库。为此，导师指导本文作者拟此题目，研究基于Hadoop框架的数据仓库解决方案。

二、研究目的和意义：

现如今，数据已经渗透到每一个行业，成为重要的生产因素。近年来，由于历史积累和和数据增长速度加快，各行业都面临着大数据的难题。事实上，大数据既是机遇又时挑战。合理、充分利用大数据，将其转变为海量、高增长率和多样化的信息资产，将使得企业具有更强的决策力、洞察发现力和流程优化等能力。因此，很多IT企业都将大数据作为其重要的发展战略，如亚马逊、FaceBook已布局大数据产业，并取得了骄人的成绩。事实上，不止谷歌、易趣网或亚马逊这样的大型互联网企业需要发展大数据，任何规模的企业都有机会从大数据中获得优势，并由此构建其未来业务分析的基础，在与同行的竞争中，取得显著的优势。

相较于大型企业，中小企业的大数据发展战略不同。大公司可以凭借雄厚的资本和技术实力，从自身环境和业务出发，开发自己的软件平台。而中小企业没有那样的技术实力，也没有那么庞大的资金投入，更倾向于选择一个普遍的、相对廉价的解决方案。本文旨在分析大数据环境下数据库的特点，结合当下流行的Hadoop框架，提出了一种适用于大数据环境的数据仓库的解决方案并实现。为中小企业在大数据环境中构建数据仓库提供参考。其具体说来，主要有以下三方面意义：

首先，目前主流的数据库如Oracle、SQL Server都有对应自己数据库平台的一整套的数据仓库解决方案，对于其他的关系型数据库如MySQL等，虽然没有对应数据库平台的数据仓库解决方案，但有很多整合的数据仓库解决方案。而对于非结构化的数据库，因其数据模型不同于关系型数据库，需要新的解决方案，本文提出的基于Hive/Pentaho的数据仓库实现方案可以为其提供一个参考。

其次，通过整合多源非结构化数据库，生成一个面向主题、集成的.数据仓库，可为大数据平台上的联机事务处理、决策支持等提供数据环境，从而有效利用数据资源辅助管理决策。

再次，大数据是一个广泛的概念，包括大数据存储、大数据计算、大数据分析等各个层次的技术细节，本文提出的“大数据环境下的数据仓库解决方案及实现“丰富了大数据应用技术的生态环境，为大数据环境下的数据分析、数据挖掘等提供支撑。

三、国内外研究现状和发展趋势的简要说明：

本文研究的主体是数据仓库，区别于传统基于关系型数据库的数据仓库，本文聚焦大数据环境下基于非结构数据库的数据仓库的构建与实现。因此，有必要从数据仓库和大数据环境下的数据库两方面进行阐述。

(一) 数据仓库国内外研究现状

自从Bill Inmon 在1990年提出“数据仓库”这一概念之后，数据仓库技术开始兴起，并给社会带来新的契机，逐渐成为一大技术热点。目前，美国30%到40%的公司已经或正在建造数据仓库。现如今随着数据模型理论的完善，数据库技术、应用开发及挖掘技术的不断进步，数据仓库技术不断发展，并在实际应用中发挥了巨大的作用。以数据仓库为基础，以联机分析处理和数据挖掘工具为手段的决策支持系统日渐成熟。与此同时，使用数据仓库所产生的巨大效益又刺激了对数据仓库技术的需求，数据仓库市场正以迅猛的势头向前发展。

我国企业信息化起步相对较晚，数据仓库技术在国内的发展还处于积累经验阶段。虽然近年来，我国大中型企业逐步认识到利用数据仓库技术的重要性，并已开始建立自己的数据仓库系统，如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。但从整体上来看，我国数据仓库市场还需要进一步培育，数据仓库技术同国外还有很大差距。为此，我国许多科技工作者已开始对数据仓库相关技术进行深入研究，通过对国外技术的吸收和借鉴，在此基础上提出适合国内需求的技术方案。

(二) 非结化数据库国内外研究现状

随着数据库技术深入应用到各个领域，结构化数据库逐渐显露出一些弊端。如在生物、地理、气候等领域，研究面对的数据结构并不是传统上的关系数据结构。如果使用关系数据库对其进行存储、展示，就必须将其从本身的数据结构强行转换为关系数据结构。采用此种方式处理非结构数据，不能在整个生命周期内对非关系数据进行管理，并且数据间的关系也无法完整的表示出来。在此背景下，非结构化数据库应运而生。相较于关系数据库，非结构数据库的字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成。如此，它不仅可以处理结构化数据，更能处理文本、图象、声音、影视、超媒体等非结构化数据。近年来，随着大数据兴起，非结构数据库开始广泛应用，以支持大数据处理的多种结构数据。

目前，非结构化的数据库种类繁多，按其存储数据类型分，主要包含内存数据库、列存储型、文档数据库、图数据库等。其中，常见的内存数据库有SQLite，Redis，Altibase等;列存储数据库有Hbase，Bigtable等;文档数据库有MangoDB，CouchDB，RavenDB等;图数据库有Neo4j等。近年来，我国非结构数据库也有一定发展，其中最具代表的是国信贝斯的iBASE数据库。可以预见在不久的将来，伴随这大数据的应用，非结构数据库将会得到长足的发展和广泛的应用。

四、主要研究内容和要求达到的深度：

本文研究的方向是数据仓库，并且是聚焦于大数据这一特定环境下的数据仓库建设，其主要内容包括以下几点：

1. 非结构数据库的数据仓库解决方案：本文聚焦于大数据这一特定环境下的数据仓库建设，因为大数据环境下的数据仓库建设理论文献很少，首先需要以研究关系数据库型数据仓库的解决方案为参考，然后对比关系数据库和非结构数据库的特点，最后在参考方案的基础上改进，以得到适合非结构数据库环境的数据仓库解决方案。

2. 非结构数据库和关系数据库间数据转换：非结构数据库是对关系数据库的补充，很多非结构数据库应用环境中都有关系数据库的身影。因此，非结构数据库和关系数据库间数据转换是建立非结构数据库需要解决的一个关键问题。

3. 基于非结构数据库的数据仓库构建：本文拟采用手礼网的数据，分析其具体的数据环境和需求，为其构建基于非结构数据库的数据仓库，主要包括非结构数据库的数据抽取，Hive数据库入库操作和Pentaho前台数据展现等。

五、研究工作的主要阶段、进度和完成时间：

结合研究需要和学校教务管理的安排，研究工作主要分以下四阶段完成：

第一阶段：论文提纲：20XX年6月——7月

第二阶段：论文初稿 ：20XX年8月——10月

第三阶段：论文修改：20XX年11月——2014年3月

第四阶段：最终定稿：20XX年4月

六、拟采用的研究方法、手段等及采取的措施：

在论文提纲阶段，本文拟采用调查统计的方法，收集目前大数据环境下数据库应用情况，着重统计各类型数据库的应用比例。同时采用文献分析和个案研究的方法研究数据仓库构建的一般过程和对应的技术细节，并提出解决方案。在论文初稿和修改阶段，本文拟通过实证研究，依据提纲阶段在文献分析中收集到的理论，基于特定的实践环境，理论结合实践，实现某一具体数据仓库的构建。最后采用定性和定量相结合的方法，详细介绍大数据环境下数据库和数据仓库的特点，其数据仓库实现的关键问题及解决方案，以及数据仓库个例实现的详细过程。

七、可能遇见的困难、问题及拟采取的解决办法、措施：

基于本文的研究内容和特点分析，本文在研究过程中最有可能遇到三个关键问题。

其一，非结构数据库种类繁多，每类数据库又对应有不同的数据库产品，由于当下非结构数据库没有统一标准，即便同类数据库下不同产品的操作都不尽相同，难以为所有非结构数据库提出解决方案。针对此问题，本文拟紧贴大数据这一背景，选择当下大数据环境中应用最多的几类数据库的代表性产品进行实现。

其二，虽然经过二十年的发展，数据仓库的理论已日趋完善，但大数据是近几年才发展起来的技术热点，大树据环境下的数据仓库建设理论文献很少。针对此问题，本文拟参考现有的成熟的关系数据库环境下数据仓库构建方案和非结构化数据仓库理论，研究适合非结构数据库的数据仓库构建方案，请导师就方案进行指导，然后再研究具体技术细节实现方案。

其三，基于大数据环境的数据仓库实现是本文重要的组成部分，要完成此部分的工作需要企业提供数据支持，但现在数据在企业当中的保密级别都很高，一般企业都不会将自己的业务数据外传。针对此问题，本文拟采用企业非核心业务数据进行数据仓库实现。

八、大纲

本文的基本构想和思路，文章拟分为导论、大数据环境下的数据库介绍、大数据下数据仓库关键问题研究、基于XX电子商务的大数据下数据仓库实现、结论五部分。

导论

一、研究背景

二、国内外研究现状述评

三、本文的主要内容与研究思路

第一章 大数据环境下的数据库介绍

第一节 大数据对数据库的要求

第二节 关系数据库和非结构数据库比较

第三节 大数据下常用非结构数据库介绍

小结

第二章 大数据下数据仓库关键问题研究

第一节 非结构数据模型和关系数据模型的转换

第二节 基于多源非结构数据库的数据抽取

第三节 数据类型转换

第四节 数据仓库前端展示

第三章 大数据下数据仓库实现方案

第一节 大数据环境介绍

第二节 实现方案

第二节 Hive介绍

第三节 Pentaho介绍

第四章 基于XX电子商务的大数据下数据仓库实现

第一节 需求分析

第二节 模型设计

第三节 概要设计

第四节 基于Hive的数据入库操作实现

第五节 基于Pentaho的数据仓库前端展示实现

结论