大数据的技术论文参考文献

网络安全与大数据技术应用探讨论文

摘要： 随着互联网技术的高速发展与普及，现如今互联网技术已经广泛应用于人们工作与生活之中，这给人们带来了前所未有的便利，但与此同时各种网络安全问题也随之显现。基于此，本文主要介绍了大数据技术在网络安全领域中的具体应用，希望在网络系统安全方面进行研究的同时，能够为互联网事业的持续发展提供可行的理论参考。

关键词： 网络安全；大数据技术；应用分析

前言

随着近年来互联网技术的不断深入，网络安全事故也随之频频发生。出于对网络信息安全的重视，我国于2014年成立了国家安全委员会，正式将网络安全提升为国家战略部署，这同时也表示我国网络信息安全形势不容乐观，网络攻击事件处于高发状态。木马僵尸病毒、恶意勒索软件、分布式拒绝服务攻击、窃取用户敏感信息等各类网络攻击事件的数量都处于世界前列。时有发生的移动恶意程序、APT、DDOS、木马病毒等网络攻击不仅会严重阻碍网络带宽、降低网络速度、并且对电信运营商的企业声誉也会产生一定影响。根据大量数据表明，仅仅依靠传统的网络防范措施已经无法应对新一代的网络威胁，而通过精确的检测分析从而在早期预警，已经成为现阶段网络安全能力的关键所在。

1网络安全问题分析

网络安全问题不仅涉及公民隐私与信息安全，更关乎国事安全，例如雅虎的信息泄露，导致至少五亿条用户信息被窃；美国棱镜门与希拉里邮件门等等事件都使得网络安全问题进一步升级、扩大。随着互联网构架日益复杂，网络安全分析的数据量也在与日俱增，在由TB级向PB级迈进的过程，不仅数据来源丰富、内容更加细化，数据分析所需维度也更为广泛。伴随着现阶段网络性能的增长，数据源发送速率更快，对安全信息采集的速度要求也就越高，版本更新延时等导致的Odav等漏洞日渐增多，网络攻击的影响范围也就进一步扩大；例如APT此类有组织、有目标且长期潜伏渗透的多阶段组合式攻击更加难以防范，唯有分析更多种类的安全信息并融合多种手段进行检测抵御。在传统技术架构中，大多使用结构化数据库来进行数据存储，但由于数据存储的成本过高，系统往往会将原始数据进行标准化处理后再进行存储，如此易导致数据的丢失与失真以及历史数据难以保存而造成的追踪溯源困难；同时对于嘈杂的大型、非结构化数据集的执行分析以及复杂查询效率很低，导致数据的实时性及准确性难以保证，安全运营效率不高，因此传统网络安全技术已经难以满足现阶段网络安全分析的新要求。大数据技术这一概念最初由维克托.迈尔.舍恩伯格与肯尼斯.库克耶在2008年出版的《大数据时代》一书中提出的，大数据是指不采用随机分析法，而是对所有的数据进行综合分析处理。大数据技术作为现阶段信息架构发展的趋势之首，其独有的高速、多样、种类繁多以及价值密度低等特点，近年来被广泛应用于互联网的多个领域中。大数据的战略意义在于能够掌握庞大的数据信息，使海量的原始安全信息的存储与分析得以实现、分布式数据库相比传统数据库的存储成本得以降低，并且数据易于在低廉硬件上的水平扩展，极大地降低了安全投入成本；并且伴随着数据挖掘能力的大幅提高，安全信息的采集与检测响应速度更加快捷，异构及海量数据存储的支持打造了多维度、多阶段关联分析的基础，提升了分析的深度与广度。对于网络安全防御而言，通过对不同来源的数据进行综合管理、处理、分析、优化，可实现在海量数据中极速锁定目标数据，并将分析结果实时反馈，对于现阶段网络安全防御而言至关重要。

2大数据在网络安全中的应用

将大数据运用到网络安全分析中，不仅能够实现数据的优化与处理，还能够对日志与访问行为进行综合处理，从而提高事件处理效率。大数据技术在网络安全分析的效果可从以下几点具体分析：

2.1数据采集效率

大数据技术可对数据进行分布式地采集，能够实现数百兆/秒的采集速度，使得数据采集速率得到了极大的提高，这也为后续的关联分析奠定了基础。

2.2数据的存储

在网络安全分析系统中，原始数据的存储是至关重要的，大数据技术能够针对不同数据类型进行不同的数据采集，还能够主动利用不同的方式来提高数据查询的效率，比如在对日志信息进行查询时适合采用列式的存储方式，而对于分析与处理标准化的数据，则适合采用分布式的模式进行预处理，在数据处理后可将结果存放在列式存储中；或者也可以在系统中建立起MapReduce的查询模块，在进行查询的时候可直接将指令放在指定的节点，完成处理后再对各个节点进行整理，如此能够确保查询的速度与反应速度。

2.3实时数据的分析与后续数据的处理

在对实时数据的分析中，可以采用关联分析算法或CEP技术进行分析，如此能够实现对数据的采集、分析、处理的综合过程，实现了更高速度以及更高效率的处理；而对于统计结果以及数据的处理，由于这种处理对时效性要求不高，因此可以采用各种数据处理技术或是利用离线处理的方式，从而能够更好地完成系统风险、攻击方面的分析。

2.4关于复杂数据的分析

在针对不同来源、不同类型的复杂数据进行分析时，大数据技术都能够更好的完成数据的分析与查询，并且能够有效完成复杂数据与安全隐患、恶意攻击等方面的处理，当网络系统中出现了恶意破坏、攻击行为，可采用大数据技术从流量、DNS的角度出发，通过多方面的数据信息分析实现全方位的防范、抵御。

3基于大数据技术构建网络系统安全分析

在网络安全系统中引入大数据技术，主要涉及以下三个模块：

3.1数据源模块

网络安全系统中的`数据及数据源会随着互联网技术的进步而倍增技术能够通过分布式采集器的形式，对系统中的软硬件进行信息采集，除了防火墙、检测系统等软件，对设备硬件的要求也在提高，比如对服务器、存储器的检查与维护工作。

3.2数据采集模块

大数据技术可将数据进行对立分析，从而构建起分布式的数据基础，能够做到原始数据从出现到删除都做出一定说明，真正实现数据的访问、追溯功能，尤其是对数据量与日俱增的今天而言，分布式数据存储能够更好地实现提高数据库的稳定性。

3.3数据分析模块

对网络安全系统的运营来说，用户的业务系统就是安全的最终保障对象，大数据分析能够在用户数据产生之初，及时进行分析、反馈，从而能够让网络用户得到更加私人化的服务体验。而对于用户而言，得其所想也会对网络系统以及大数据技术更加的信任，对于个人的安全隐私信息在系统上存储的疑虑也会大幅降低。当前网络与信息安全领域正在面临着全新的挑战，企业、组织、个人用户每天都会产生大量的安全数据，现有的安全分析技术已经难以满足高效率、精确化的安全分析所需。而大数据技术灵活、海量、快速、低成本、高容量等特有的网络安全分析能力，已经成为现阶段业界趋势所向。而对互联网企业来说，实现对数据的深度“加工处理”，则是实现数据增值的关键所在，对商业运营而言是至关重要的。

4结语

在当下时代，信息数据已经渗透到各个行业及业务领域中，成为重要的社会生产因素。正因如此，互联网数据产生的数量也在与日倍增中，这给网络安全分析工作带来了一定难度与压力，而大数据技术则能够很好的完善这一问题。在网络系统中应用大数据技术不仅能够满足人们对数据处理时所要求的高效性与精准性，并且能够在此基础上构建一套相对完善的防范预警系统，这对维护网络系统的安全起着非常关键的作用，相信大数据技术日后能够得到更加广泛的应用。

参考文献：

[1]鲁宛生.浅谈网络安全分析中大数据技术的应用[J].数码世界，2017.

[2]王帅,汪来富,金华敏等.网络安全分析中的大数据技术应用[J].电信科学，2015.

[3]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.

大数据对高校教育的推动作用论文

当代社会互联网发达，信息技术广泛应用与社会各个领域。当然，利用信息技术来推动高校教育发展也是在信息化教育进程之中。信息技术的发展迅速，大数据也就迅速堆积，大数据记录了信息技术发展的脚步，同样有利于信息技术在社会上的有效发展。高校作为发展人才的地方，自然少不了大量数据累积，信息量巨大，大数据对高校教育也就有着非常大的影响，它不仅推动着高校教育的发展，同时也反映着高校教育数据累积的过程，这类数据与外界环境的共享，一起发挥着大数据对高校教育的推动作用。

1大数据 发挥出在高校教育的发展中的推动作用

高校教育在多年的发展中，逐渐适应了信息化的快速发展进程，将高校教育信息化是必然的条件，这对于高校教育的改革和完善具有完全有效的作用。高校教育信息化同样对提高教学质量，引导创新教学模式，发挥着重要作用。高校教育信息化有利于加强校园文化建设，促进教育高水平发展，有利于改善教学方法，发挥教育各项职能，有利于人才培养，有利于信息交流和教学环境改善。高校教育信息化是教育发展和提升的必要条件，大量的信息交流必定会产生众多数据，针对大数据进行数据收集和处理，方便数据检索和查询。高校教育本身就具有信息量大、数据多样，繁琐的鞥、特点，所以很好的利用大数据为高校教育发展做贡献，一定能更好的推动高校教育的发展。大数据在课堂上的应用，能够改变传统的教学模式，发挥信息技术的无限潜能，不管是时间还是空间的阻碍，都能被信息技术所打破，这将有利于学生更好的融入课堂，使学生更适应课堂，从而使理解知识变得容易。大数据的广泛应用，同样适用于科学研究方面，大数据的全面信息的应用对于信息的共享和交流具有关键推进作用，现代信息技术在社会科学中的应用将改善传统的研究方法，这样不但能提升结果的可信度，更能够提升工作效率，再者，大数据在服务人们方面的应用，高校能够更好的掌握社会需求，了解社会对人才的渴求，从而培养适应社会的人才。这样的好处还有能够加强高校和社会的联系，使得高校能够更好地履行社会职能。大数据还有利于高校建设校园文化与文化传承。高校对于优秀民族和世界文化都有责任和义务传播给更多学生，高校作为文化载体，有更好的条件进行文化教育，通过信息技术手段，方便文化沟通，以及技术交流等。

2大数据与高校教育之间的联系

大数据与高校教育之间不只是简单的应用关系，高校也绝不是被动的接受大数据，其实高校与大数据之间是相互依靠，相互促进的，高校教育的发展同时也是大数据的发展，同时，大数据的发展，也同样推动了高校教育的发展进程。大数据可以说是一种工具，一是顺应了高校教育的发展进程，同时也为高校教育发展做出了许多改善与提升。比方说大数据推动了高校对人才培养的进程，有利于高校选拔适合社会的高等人才，挖掘人才潜在价值，更好的为社会服务，也是为人们服务，帮助学生找到自身优势，使得人才发展变得顺利。前面说的，大数据帮助高校建立完善的文化体系，有助于高校进行文化传承，教育形式改革与创新。大数据有助于高校了解社会需求，发展与培养适应社会的全能人才。反过来，高校教育对大数据的发展也具有非常重要的推进作用。高校由于信息量巨大，也有相对完整的记录和完善形式，对于数据的收集等方面也有非常完善的系统，所以高校教育对于大数据的发展也有积极作用。高校通过长时间的数据利用，自然会产生许多有效的数据分类和整理办法，对数据的研究也非常细致和详细，对数据也会进行补充和完善，分析和创新数据记录办法，所以高校教育方面对数据的整理利用工作也会对大数据的发展做出更多贡献。说完了高校教育与大数据之间的相互利用，还应考虑大数据与高校教育之间的共同发展。许多高校在建立了比较完善的大数据处理和利用方式之后，通常会比较频繁的与外界进行数据处理办法和收集方式的交流和共享，大部分的'数据处理工作都是有目的性的，比方说在网上的数据检索工作，都是在先想好需要什么才去网上搜索的，所以对数据的分类整理工作至关重要。高校教育通常分为大体上的文科和理科，那再往下细分还有工科医科师范类商学类等等。不同的数据有不同的处理方式，不同的数据门类之间有时候也是互通的，所以大数据的处理办法和整体思维都是有分别的，也是有联系的，需要研究者长时间的分析和整理。大数据的使用需要专业的认可，不然的话就会造成资源浪费，看来社会上的机构大概也只有高校和研究员具有资格认证大数据的作用了。大数据广泛应用了信息技术和社会科学等多种学科的资源，在保证数据真实可靠地情况下，为更多数据使用者提供良好的数据参考作用。换句话说，高校教育过程中对数据的使用情况直接影响了大数据的利用率，高校对大数据提供了更多的技术支持，同时也限制了大数据的发展，所以大数据与高校教育之间的这种关系影响了两者之间的共同发展。

3大数据在推动高校教育发展过程中遇到的问题

不可否认，大数据在推动高校教育的发展过程做出了很多贡献，但是在大数据推动高校教育的过程中，仍会出现某些问题，阻止了大数据的推动作用，造成大数据没有完全发挥其应有的功能，没有很好的为高校教育做出更大贡献。首先是高校对于大数据的利用率低，主要体现在进行数据搜索和收集过程中，对需求的认识面太过狭隘，导致数据收集工作不完善，收据收集的不完全，在应用过程中就会有困难，造成信息缺失和资源不足，所以究其原因还是数据收集工作者工作中存在纰漏，或者对数据手机方法不正确不规范，造成了数据缺失情况出现。其次出现大数据利用不完全的问题是因为数据运用者技术不规范和操作不当造成数据使用不完全。和传统的数据使用方法相比，现代的利用大数据进行数据检索和使用工作已经如虎添翼，通过科技手段可以毫不费力的从大量的数据库中筛选出自己所需要的数据来进行利用。这不但大大降低了操作难度，同时也节省了很多时间，我们都知道数据挖掘工作复杂而且繁琐，更需要数据挖掘工作者认真细致的到位的工作态度，一点马虎不得。但是通过技术手段，以及先进的互联网技术，可以很好的解决很多工作中可能会出现的问题。但是机器就是机器，永远不可能有人的思维，就算有那也是人给他格外添加的，永远不可能超过人的思维，所以机器所犯的错误可能也会有很多，这就需要人来利用外力对数据采集处理等工作进行监督，一点失误就会造成数据错误，影响数据的使用。

4提升大数据推动高校教育有效性的对策

针对以上几点问题，首先提出的解决办法就是使人们充分认识大数据的作用，这样从根本上让人们建立起对大数据的作用的基本概念，才能仍大数据更好地为人们服务。大数据实在信息大爆炸的现代社会中人们必不可少的一种数据收集处理方式，对于社会的快速发展，必然会伴随数以万计的数据，那么对于这么多眼花缭乱的数据，要想提取出真正对自己有用的数据，就要利用科技手段，建立完整的数据库，方便人们的数据提取和利用。在认识了大数据的作用之后，就要合理的利用好大数据，正确的使用大数据，在大数据使用过程中应当规范使用办法，避免使用者滥用大数据，检索和分类过程也应当认真细致的操作，因为不仅仅是一次失误，之后的每一个步骤都有可能会对数据处理工作造成误解和偏差，造成大数据的错误使用。为了更好的使用大数据，推动大数据对高校教育的发展，高校应建立完善的大数据使用平台，让使用者能够有地方可查，有资源可用，提高大数据的使用率。至于校园内的配置，应当及时维护，对大数据的保管工作也应时常监督和完善，进一步加强数据使用效率，发挥其应有的价值。在人员配置选拔方面，要认真仔细筛选真正有用的人才，对数据进行分类处理和详细整理，更好的帮助校园内数据使用者进行数据使用程序。

5总结

在当下数据大爆炸的时代，能够更好的使用信息的人，将信息为己所用，那么就是发挥了大数据的真正价值。正确看待大数据，合理利用大数据，将大数据与高校教育有机的结合在一起，尽力发挥大数据应有的价值，有利于人们探索未知的知识和学问，有效的利用好大数据，就是发挥了大数据对高校教育的推动作用。

参考文献 :

[1]邱仁宗,黄雯,翟晓梅.大数据技术的伦理问题[J].科学与社会,2014(01).

[2]王成红,陈伟能,张军,宋苏,鲁仁全.大数据技术与应用中的挑战性科学问题[J].中国科学基金,2014(02).

[3]祝智庭,管珏琪.教育变革中的技术力量[J].中国电化教育,2014(01).

大数据意义

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[10]阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。[11]

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。[12]

大数据的价值体现在以下几个方面：

（1）对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；

（2）做小而美模式的中小微企业可以利用大数据做服务转型；

（3）面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。

在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如，通过结合大数据和高性能的分析，下面这些对企业有益的情况都可能会发生：

（1）及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。

（2）为成千上万的快递车辆规划实时交通路线，躲避拥堵。

（3）分析所有SKU，以利润最大化为目标来定价和清理库存。

（4）根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。

（5）从大量客户中快速识别出金牌客户。

（6）使用点击流分析和数据挖掘来规避欺诈行为。