大数据技术相关论文参考文献

《大数据技术原理与应用—概念、存储、处理、分析与应用》。hadoop参考文献有《大数据技术原理与应用—概念、存储、处理、分析与应用》，Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据。

网络安全与大数据技术应用探讨论文

摘要： 随着互联网技术的高速发展与普及，现如今互联网技术已经广泛应用于人们工作与生活之中，这给人们带来了前所未有的便利，但与此同时各种网络安全问题也随之显现。基于此，本文主要介绍了大数据技术在网络安全领域中的具体应用，希望在网络系统安全方面进行研究的同时，能够为互联网事业的持续发展提供可行的理论参考。

关键词： 网络安全；大数据技术；应用分析

前言

随着近年来互联网技术的不断深入，网络安全事故也随之频频发生。出于对网络信息安全的重视，我国于2014年成立了国家安全委员会，正式将网络安全提升为国家战略部署，这同时也表示我国网络信息安全形势不容乐观，网络攻击事件处于高发状态。木马僵尸病毒、恶意勒索软件、分布式拒绝服务攻击、窃取用户敏感信息等各类网络攻击事件的数量都处于世界前列。时有发生的移动恶意程序、APT、DDOS、木马病毒等网络攻击不仅会严重阻碍网络带宽、降低网络速度、并且对电信运营商的企业声誉也会产生一定影响。根据大量数据表明，仅仅依靠传统的网络防范措施已经无法应对新一代的网络威胁，而通过精确的检测分析从而在早期预警，已经成为现阶段网络安全能力的关键所在。

1网络安全问题分析

网络安全问题不仅涉及公民隐私与信息安全，更关乎国事安全，例如雅虎的信息泄露，导致至少五亿条用户信息被窃；美国棱镜门与希拉里邮件门等等事件都使得网络安全问题进一步升级、扩大。随着互联网构架日益复杂，网络安全分析的数据量也在与日俱增，在由TB级向PB级迈进的过程，不仅数据来源丰富、内容更加细化，数据分析所需维度也更为广泛。伴随着现阶段网络性能的增长，数据源发送速率更快，对安全信息采集的速度要求也就越高，版本更新延时等导致的Odav等漏洞日渐增多，网络攻击的影响范围也就进一步扩大；例如APT此类有组织、有目标且长期潜伏渗透的多阶段组合式攻击更加难以防范，唯有分析更多种类的安全信息并融合多种手段进行检测抵御。在传统技术架构中，大多使用结构化数据库来进行数据存储，但由于数据存储的成本过高，系统往往会将原始数据进行标准化处理后再进行存储，如此易导致数据的丢失与失真以及历史数据难以保存而造成的追踪溯源困难；同时对于嘈杂的大型、非结构化数据集的执行分析以及复杂查询效率很低，导致数据的实时性及准确性难以保证，安全运营效率不高，因此传统网络安全技术已经难以满足现阶段网络安全分析的新要求。大数据技术这一概念最初由维克托.迈尔.舍恩伯格与肯尼斯.库克耶在2008年出版的《大数据时代》一书中提出的，大数据是指不采用随机分析法，而是对所有的数据进行综合分析处理。大数据技术作为现阶段信息架构发展的趋势之首，其独有的高速、多样、种类繁多以及价值密度低等特点，近年来被广泛应用于互联网的多个领域中。大数据的战略意义在于能够掌握庞大的数据信息，使海量的原始安全信息的存储与分析得以实现、分布式数据库相比传统数据库的存储成本得以降低，并且数据易于在低廉硬件上的水平扩展，极大地降低了安全投入成本；并且伴随着数据挖掘能力的大幅提高，安全信息的采集与检测响应速度更加快捷，异构及海量数据存储的支持打造了多维度、多阶段关联分析的基础，提升了分析的深度与广度。对于网络安全防御而言，通过对不同来源的数据进行综合管理、处理、分析、优化，可实现在海量数据中极速锁定目标数据，并将分析结果实时反馈，对于现阶段网络安全防御而言至关重要。

2大数据在网络安全中的应用

将大数据运用到网络安全分析中，不仅能够实现数据的优化与处理，还能够对日志与访问行为进行综合处理，从而提高事件处理效率。大数据技术在网络安全分析的效果可从以下几点具体分析：

2.1数据采集效率

大数据技术可对数据进行分布式地采集，能够实现数百兆/秒的采集速度，使得数据采集速率得到了极大的提高，这也为后续的关联分析奠定了基础。

2.2数据的存储

在网络安全分析系统中，原始数据的存储是至关重要的，大数据技术能够针对不同数据类型进行不同的数据采集，还能够主动利用不同的方式来提高数据查询的效率，比如在对日志信息进行查询时适合采用列式的存储方式，而对于分析与处理标准化的数据，则适合采用分布式的模式进行预处理，在数据处理后可将结果存放在列式存储中；或者也可以在系统中建立起MapReduce的查询模块，在进行查询的时候可直接将指令放在指定的节点，完成处理后再对各个节点进行整理，如此能够确保查询的速度与反应速度。

2.3实时数据的分析与后续数据的处理

在对实时数据的分析中，可以采用关联分析算法或CEP技术进行分析，如此能够实现对数据的采集、分析、处理的综合过程，实现了更高速度以及更高效率的处理；而对于统计结果以及数据的处理，由于这种处理对时效性要求不高，因此可以采用各种数据处理技术或是利用离线处理的方式，从而能够更好地完成系统风险、攻击方面的分析。

2.4关于复杂数据的分析

在针对不同来源、不同类型的复杂数据进行分析时，大数据技术都能够更好的完成数据的分析与查询，并且能够有效完成复杂数据与安全隐患、恶意攻击等方面的处理，当网络系统中出现了恶意破坏、攻击行为，可采用大数据技术从流量、DNS的角度出发，通过多方面的数据信息分析实现全方位的防范、抵御。

3基于大数据技术构建网络系统安全分析

在网络安全系统中引入大数据技术，主要涉及以下三个模块：

3.1数据源模块

网络安全系统中的`数据及数据源会随着互联网技术的进步而倍增技术能够通过分布式采集器的形式，对系统中的软硬件进行信息采集，除了防火墙、检测系统等软件，对设备硬件的要求也在提高，比如对服务器、存储器的检查与维护工作。

3.2数据采集模块

大数据技术可将数据进行对立分析，从而构建起分布式的数据基础，能够做到原始数据从出现到删除都做出一定说明，真正实现数据的访问、追溯功能，尤其是对数据量与日俱增的今天而言，分布式数据存储能够更好地实现提高数据库的稳定性。

3.3数据分析模块

对网络安全系统的运营来说，用户的业务系统就是安全的最终保障对象，大数据分析能够在用户数据产生之初，及时进行分析、反馈，从而能够让网络用户得到更加私人化的服务体验。而对于用户而言，得其所想也会对网络系统以及大数据技术更加的信任，对于个人的安全隐私信息在系统上存储的疑虑也会大幅降低。当前网络与信息安全领域正在面临着全新的挑战，企业、组织、个人用户每天都会产生大量的安全数据，现有的安全分析技术已经难以满足高效率、精确化的安全分析所需。而大数据技术灵活、海量、快速、低成本、高容量等特有的网络安全分析能力，已经成为现阶段业界趋势所向。而对互联网企业来说，实现对数据的深度“加工处理”，则是实现数据增值的关键所在，对商业运营而言是至关重要的。

4结语

在当下时代，信息数据已经渗透到各个行业及业务领域中，成为重要的社会生产因素。正因如此，互联网数据产生的数量也在与日倍增中，这给网络安全分析工作带来了一定难度与压力，而大数据技术则能够很好的完善这一问题。在网络系统中应用大数据技术不仅能够满足人们对数据处理时所要求的高效性与精准性，并且能够在此基础上构建一套相对完善的防范预警系统，这对维护网络系统的安全起着非常关键的作用，相信大数据技术日后能够得到更加广泛的应用。

参考文献：

[1]鲁宛生.浅谈网络安全分析中大数据技术的应用[J].数码世界，2017.

[2]王帅,汪来富,金华敏等.网络安全分析中的大数据技术应用[J].电信科学，2015.

[3]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.