大数据工程中应用论文参考文献

网络安全与大数据技术应用探讨论文

摘要： 随着互联网技术的高速发展与普及，现如今互联网技术已经广泛应用于人们工作与生活之中，这给人们带来了前所未有的便利，但与此同时各种网络安全问题也随之显现。基于此，本文主要介绍了大数据技术在网络安全领域中的具体应用，希望在网络系统安全方面进行研究的同时，能够为互联网事业的持续发展提供可行的理论参考。

关键词： 网络安全；大数据技术；应用分析

前言

随着近年来互联网技术的不断深入，网络安全事故也随之频频发生。出于对网络信息安全的重视，我国于2014年成立了国家安全委员会，正式将网络安全提升为国家战略部署，这同时也表示我国网络信息安全形势不容乐观，网络攻击事件处于高发状态。木马僵尸病毒、恶意勒索软件、分布式拒绝服务攻击、窃取用户敏感信息等各类网络攻击事件的数量都处于世界前列。时有发生的移动恶意程序、APT、DDOS、木马病毒等网络攻击不仅会严重阻碍网络带宽、降低网络速度、并且对电信运营商的企业声誉也会产生一定影响。根据大量数据表明，仅仅依靠传统的网络防范措施已经无法应对新一代的网络威胁，而通过精确的检测分析从而在早期预警，已经成为现阶段网络安全能力的关键所在。

1网络安全问题分析

网络安全问题不仅涉及公民隐私与信息安全，更关乎国事安全，例如雅虎的信息泄露，导致至少五亿条用户信息被窃；美国棱镜门与希拉里邮件门等等事件都使得网络安全问题进一步升级、扩大。随着互联网构架日益复杂，网络安全分析的数据量也在与日俱增，在由TB级向PB级迈进的过程，不仅数据来源丰富、内容更加细化，数据分析所需维度也更为广泛。伴随着现阶段网络性能的增长，数据源发送速率更快，对安全信息采集的速度要求也就越高，版本更新延时等导致的Odav等漏洞日渐增多，网络攻击的影响范围也就进一步扩大；例如APT此类有组织、有目标且长期潜伏渗透的多阶段组合式攻击更加难以防范，唯有分析更多种类的安全信息并融合多种手段进行检测抵御。在传统技术架构中，大多使用结构化数据库来进行数据存储，但由于数据存储的成本过高，系统往往会将原始数据进行标准化处理后再进行存储，如此易导致数据的丢失与失真以及历史数据难以保存而造成的追踪溯源困难；同时对于嘈杂的大型、非结构化数据集的执行分析以及复杂查询效率很低，导致数据的实时性及准确性难以保证，安全运营效率不高，因此传统网络安全技术已经难以满足现阶段网络安全分析的新要求。大数据技术这一概念最初由维克托.迈尔.舍恩伯格与肯尼斯.库克耶在2008年出版的《大数据时代》一书中提出的，大数据是指不采用随机分析法，而是对所有的数据进行综合分析处理。大数据技术作为现阶段信息架构发展的趋势之首，其独有的高速、多样、种类繁多以及价值密度低等特点，近年来被广泛应用于互联网的多个领域中。大数据的战略意义在于能够掌握庞大的数据信息，使海量的原始安全信息的存储与分析得以实现、分布式数据库相比传统数据库的存储成本得以降低，并且数据易于在低廉硬件上的水平扩展，极大地降低了安全投入成本；并且伴随着数据挖掘能力的大幅提高，安全信息的采集与检测响应速度更加快捷，异构及海量数据存储的支持打造了多维度、多阶段关联分析的基础，提升了分析的深度与广度。对于网络安全防御而言，通过对不同来源的数据进行综合管理、处理、分析、优化，可实现在海量数据中极速锁定目标数据，并将分析结果实时反馈，对于现阶段网络安全防御而言至关重要。

2大数据在网络安全中的应用

将大数据运用到网络安全分析中，不仅能够实现数据的优化与处理，还能够对日志与访问行为进行综合处理，从而提高事件处理效率。大数据技术在网络安全分析的效果可从以下几点具体分析：

数据采集效率

大数据技术可对数据进行分布式地采集，能够实现数百兆/秒的采集速度，使得数据采集速率得到了极大的提高，这也为后续的关联分析奠定了基础。

数据的存储

在网络安全分析系统中，原始数据的存储是至关重要的，大数据技术能够针对不同数据类型进行不同的数据采集，还能够主动利用不同的方式来提高数据查询的效率，比如在对日志信息进行查询时适合采用列式的存储方式，而对于分析与处理标准化的数据，则适合采用分布式的模式进行预处理，在数据处理后可将结果存放在列式存储中；或者也可以在系统中建立起MapReduce的查询模块，在进行查询的时候可直接将指令放在指定的节点，完成处理后再对各个节点进行整理，如此能够确保查询的速度与反应速度。

实时数据的分析与后续数据的处理

在对实时数据的分析中，可以采用关联分析算法或CEP技术进行分析，如此能够实现对数据的采集、分析、处理的综合过程，实现了更高速度以及更高效率的处理；而对于统计结果以及数据的处理，由于这种处理对时效性要求不高，因此可以采用各种数据处理技术或是利用离线处理的方式，从而能够更好地完成系统风险、攻击方面的分析。

关于复杂数据的分析

在针对不同来源、不同类型的复杂数据进行分析时，大数据技术都能够更好的完成数据的分析与查询，并且能够有效完成复杂数据与安全隐患、恶意攻击等方面的处理，当网络系统中出现了恶意破坏、攻击行为，可采用大数据技术从流量、DNS的角度出发，通过多方面的数据信息分析实现全方位的防范、抵御。

3基于大数据技术构建网络系统安全分析

在网络安全系统中引入大数据技术，主要涉及以下三个模块：

数据源模块

网络安全系统中的`数据及数据源会随着互联网技术的进步而倍增技术能够通过分布式采集器的形式，对系统中的软硬件进行信息采集，除了防火墙、检测系统等软件，对设备硬件的要求也在提高，比如对服务器、存储器的检查与维护工作。

数据采集模块

大数据技术可将数据进行对立分析，从而构建起分布式的数据基础，能够做到原始数据从出现到删除都做出一定说明，真正实现数据的访问、追溯功能，尤其是对数据量与日俱增的今天而言，分布式数据存储能够更好地实现提高数据库的稳定性。

数据分析模块

对网络安全系统的运营来说，用户的业务系统就是安全的最终保障对象，大数据分析能够在用户数据产生之初，及时进行分析、反馈，从而能够让网络用户得到更加私人化的服务体验。而对于用户而言，得其所想也会对网络系统以及大数据技术更加的信任，对于个人的安全隐私信息在系统上存储的疑虑也会大幅降低。当前网络与信息安全领域正在面临着全新的挑战，企业、组织、个人用户每天都会产生大量的安全数据，现有的安全分析技术已经难以满足高效率、精确化的安全分析所需。而大数据技术灵活、海量、快速、低成本、高容量等特有的网络安全分析能力，已经成为现阶段业界趋势所向。而对互联网企业来说，实现对数据的深度“加工处理”，则是实现数据增值的关键所在，对商业运营而言是至关重要的。

4结语

在当下时代，信息数据已经渗透到各个行业及业务领域中，成为重要的社会生产因素。正因如此，互联网数据产生的数量也在与日倍增中，这给网络安全分析工作带来了一定难度与压力，而大数据技术则能够很好的完善这一问题。在网络系统中应用大数据技术不仅能够满足人们对数据处理时所要求的高效性与精准性，并且能够在此基础上构建一套相对完善的防范预警系统，这对维护网络系统的安全起着非常关键的作用，相信大数据技术日后能够得到更加广泛的应用。

参考文献：

[1]鲁宛生.浅谈网络安全分析中大数据技术的应用[J].数码世界，2017.

[2]王帅,汪来富,金华敏等.网络安全分析中的大数据技术应用[J].电信科学，2015.

[3]孙玉.浅谈网络安全分析中的大数据技术应用[J].网络安全技术与应用，2017.

1.[期刊论文]数据科学与大数据技术专业的教材建设探索期刊：《新闻文化建设》 | 2021 年第 002 期摘要：随着大数据时代的到来,信息技术蓬勃发展,国家大力推进大数据产业的发展,鼓励高校设立数据科学和数据工程相关专业。在趋势的推动下,许多高校成立了数据科学与大数据技术专业。本文通过研究数据科学与大数据技术专业的发展现状,探索新专业下人才培养的课程设置及教材建设等问题,同时介绍高等教育出版社在数据科学与大数据技术专业教材建设方面的研发成果。关键词：数据科学与大数据技术专业；课程设置；教材建设链接：.[期刊论文]数据科学与大数据技术专业课程体系探索期刊：《科教文汇》 | 2021 年第 002 期摘要：该文阐述了数据科学与大数据专业的设置必要性、专业的培养目标和知识能力结构,最后探索了数据科学与大数据专业的技术性课程体系设置方法.希望该文内容对数据科学与大数据技术专业的培养方案制订和课程体系构造具有一定的指导意义和参考价值.关键词：数据科学；大数据技术；课程体系链接：.[期刊论文]数据科学与大数据技术专业实验实践教学探析期刊：《长春大学学报（自然科学版）》 | 2021 年第 001 期摘要：近些年各种信息数据呈爆炸式增长,在这种背景下,国家在2015年印发了关于大数据技术人才培养的相关文件,每年多个高校的大数据相关专业获批.数据量的增长对数据处理的要求越来越高,各行业涉及信息数据的范围越来越广,对大数据专业人才的需求越来越多.为了应对社会需求,如何科学地规划数据科学与大数据专业的本科教育,尤其在当前注重实践操作的背景下,如何制定适合的实验实践教学方案,更好满足社会需求.关键词：数据科学；大数据；实践教学链接：

《大数据技术对财务管理的影响》

摘 要：大数据可以快速帮助财务部门建立财务分析工具，而不是单纯做账。大数据应该不仅仅局限于本单位的微观数据，更为重要的关注其他单位的宏观数据。大数据技术不仅带来了企事业单位财务数据搜集的便利和挑战，而且也衍生出了诸多关于单位人员个人信息保密等问题的积极探索。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响，以期为财务数据管理的安全性提供一种分析的依据和保障。

关键词：大数据;财务管理;科学技术;知识进步

数据是一个中性概念。人类自古以来几千年的辉煌变迁，无外乎就是数据的搜集和使用过程而已。纵观古今中外的人际交流与合作，充满着尔虞我诈和勾心斗角，那么他们在争什么呢?实际上是在争夺信息资源;历史上品相繁多的战争，实际上不是在维持什么所谓的正义和和平，抑或为了人间的正道，而是在争夺数据的使用权;“熙熙攘攘皆为利往、攘攘熙熙皆为利来”的世俗变迁逻辑已经让位于数据游戏的哲学法则。人类自英国产业革命以来所陆续发明的技术，尽管被人们美其名曰“第四次科技革命的前沿技术”，实际上不过就是“0”和“1”两个数字的嬉戏而已。正如有学者指出的，汽车技术、生命科学技术、基因技术、原子能技术、宇宙航天技术、纳米技术、电子计算机技术，看起来美轮美奂，实则隐含着杀机，那就是由于人们把技术当成了目的后，导致了“技术专制”后的“技术腐败”和“技术灾难”。人类一方面在懒惰基因的诱惑下，发明了诸多所谓的机械装置，中国叫“机巧”;另一方面又在勤奋的文化下，发明了诸多抑制懒惰的制度和机制。本来想寻求节俭，结果却越来越奢侈;本来想节约，结果却越来越浪费;本来想善良，结果却越来越邪恶;本来想美好，结果却越来越丑陋。正如拉美特里所说：“人是什么?一半是天使，一半是野兽。当人拼命想成为天使的时候，其实他会逐渐变成野兽;当人想极力崇拜野兽的时候，结果会逐渐接近天使。”我们不是在宣讲宿命的技术，我们只是在预测技术的宿命。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响，以期为财务数据管理的安全性提供一种分析的依据和保障。

一、大数据技术加大了财务数据收集的难度

财务数据的收集是一个复杂的系统工程，国际上一般采用相对性原则，即首先利用不完全统计学的知识对数据进行初步的计算，接着对粗糙的数据进行系统的罗列，最后对类型化的数据进行明分梳理。使用者如果想进入该数据库，就必须拥有注册的用户名和密码。由于国际上对于网络数据的监督均采取了实名注册的模式，所以一旦该用户进入到核心数据库之后想窃取数据，一般都会暴露自己的bug地址源，网管可以循着这一唯一性存留，通过云计算迅速找到该网络终端的IP地址，于是根据人机互动原理，再加上各种网吧所安装的监控平台，可以迅速找到数据库的剽窃者。如果按照上述数据变迁逻辑，那么财务数据的收集似乎变得易如反掌，而事实并非如此。因为：①数据的量化指标受制于云计算服务器的安全性。当云服务器受到不可抗力的打击，如地震、水患、瘟疫、鼠疫、火灾、原子能泄露或各种人为破坏的作用，数据会呈现离散型散落。这时的数据丢失会演变成数字灾难;②各种数据版权的拥有者之间很难实现无缝隙对接。比如在经过不同服务器的不同数据流之间，很难实现现实意义上的自由流通。正如专家所指出的，教育服务器的事业单位的人员数据、行政部门人事管理部门的保密性数据、军事单位的军事数据、医疗卫生事业的数据、工商注册数据、外事数据等在无法克服实际权力的分割陷阱之前，很难实现资源的共享，这时对数据的所谓搜集都会演化为“不完全抽样”的数字假象。由此而衍生的数据库充其量只是一部分无用的质料而已。

二、大数据技术影响了财务数据分析的准确性

对于搞财务管理的人来说，财务数据的收集只是有效实现资源配置的先决条件，真正有价值的或者说最为关键的环节是对财务数据的分析。所谓“财务数据分析”是指专业的会计人员或审计人员对纷繁复杂的单位人力资源信息进行“去魅”的过程。所谓“去魅”就是指去粗取精、去伪存真、由此及彼、由表及里、内外互联，彼此沟通、跨级交流、跨界合作。在较为严格的学术意义上，分析的难度广泛存在与财务工作人员的日常生活中。大数据技术尽管为数据的搜集提供了方便法门，但同时加大了财务人员的工作量和工作难度。原先只是在算盘或者草稿纸上就可以轻松解决的数据计算，现在只能借助于计算机和云图建模。对于一些借助于政治权力因素或者经济利益因素，抑或是借助于自身的人际关系因素上升到财务管理部门的职工来说，更大的挑战开始了。他们不知道如何进行数据流的图谱分析，不知道基于计算机软件技术的集成线路技术的跌级分类，不知道基于非线性配置的液压传动技术的模板冲压技术，不知道逆向网络模型来解决外部常态财务变量的可篡改问题。由于技术不过硬，导致了领导安排的任务不能在规定的时间内完成，即时仓促做完的案例，也会因为数据分析技术的落后而授人以柄，有的脾气不好的领导可能会大发雷霆;脾气好的领导只是强压着内心的怒火，那种以静制动的魄力和安静更是摄魂夺魄。所以说数据分析难度的增加不是由于财务人员的良心或善根缺失，在很大程度上是由于技术的进步和大数据理念给我们带来的尖锐挑战。对于普通的没有家庭和社会背景的财务管理人员来说，能做的或者说唯一可做的就是尊重历史发展的周期律，敬畏生生不息的科学革命，认真领会行政首长的战略意图，提升自己的数据分析技术，升华在自身的“硬实力”。否则觊觎于领导的良心发现和疏忽大意，期望技术的静止或者倒退，抑或是在违法犯罪之后天真的认为可以相安无事，可能都只会落得“恢恢乎如丧家之犬”的境遇。

三、大数据技术给财务人事管理带来了挑战

一个单位的财务人事管理牵扯到方方面面的问题，其意义不可小视。一般来讲，单位在遴选财务管理部门管理人员的时候，大多从德才绩行四个方面全面权衡。然而这种“四有标准”却隐含着潜在的危机和不可避免的长远威胁，这其中的缘由就在于人性的复杂性和不可猜度性。历史和现实一再告诉人们，单纯看眼前的表现和话语的华丽，不仅不能对人才的素质进行准确的评价，而且还会导致官员的远期腐败和隐性腐败。对于中国的腐败，国人大多重视了制度和道德的缘起，却往往忽视了财务管理的因素。试想如果财务管理人员牢牢践行“焦裕禄精神”，不对任何政治权力开绿灯，国有资产又如何流出国库而了无人知晓呢?事实上，中国的所有腐败，不论是国有资产的国外流失抑或是国内流失，都在很大程度上与财务人员有关，可能有些管理人员会强调那不是自己的责任，出纳签字是领导的授意，会计支出费用那是长官的意思清晰表示。实际上，处于权力非法授予的签字、盖章、取现、流转和变相洗钱都是违法的，甚至是犯罪的。间接故意也是应当追究责任的。值得高兴的是，伴随着数字模拟技术的演进，财务管理中的腐败现象和人事管理科学化问题得到了极大的改善，相关领导伸手向财务要钱的行为，不仅会受到数据进入权限的限制，而且还会受到跟数据存留的监控，只要给予单位科技人员以足够的权限，想查找任何一笔资金的走向就变得非常简单，而且对于每一笔资金的经手者的信息也会了如指掌。这在一定程度上减少了只会指挥、不懂电脑的首长的孵化几率。

四、大数据技术加大了单位信息保密的难度

IMA(美国注册会计师协会)研发副总裁Raef・Lawson博士曾经指出：“客观上讲，大数据技术的正面效用是非常明显的，但一个不容回避的事实是大数据技术为财务信息的安全性提出了越来越严峻的挑战。我们已经注意到，在欧洲大陆、美洲大陆已经存在基于数据泄露而产生的各种抗议活动，这些活动牵扯到美国的数据窃听丑闻、俄罗斯对军事数据的强制性战友举动、以色列数据专家出卖阿拉伯世界经济数据的案件、在东方的中国香港一部分利用数据的窃取而发家致富的顶尖级黑客专家。”在数据集成的拓扑领域，大数据技术的保密性挑战肇始于蚁群算法的先天性缺陷。本来数据流的控制是依靠各种所谓的交易密码，实际上这些安全密码只是数据的另一种分类和组合而已。在数据的非线性组合和线路的真空组装模式下，任何密码都只是阻挡了技术侏儒的暂时性举动，而没有超出技术本身的惰性存在。当一个hacker掌握了源代码的介质性接洽技术之后，所剩下的就是信息和数据的搜集了，只要有足够的数据源，信息的户的几乎是轻而易举的。

2003年，北京的一家名为飞塔公司的防火墙安全软件在中关村科技城闪亮上市。该安全控制软件的开发者随机开发了一款名曰MAZE天网的软件，并且采用了“以其之矛攻其之盾”的攻防策略。测试的结果是尽管maze的源代码采用了24进制蝶形加密技术，但 FortiGate防火墙技术仍然能够阻挡住善意木马对电脑终端用户信息的剽窃和非法利用。FortiWeb已经通过全球权威的ICSA认证，可以阻断如跨站脚本、SQL注入、缓冲区溢出、远程文件包含、拒绝服务，同时防止敏感数据库外泄，为企事业单位Web应用提供了专业级的应用安全防护。飞塔公司之所以耗费人力和物力去开发这一新型的换代产品，就在于大数据时代对单位信息保密性的冲击。试想，如果一个单位连职工最起码的个人信息都不能安全存储的话，那么财务管理的科学性和人本性将从何谈起?只能说，即使在人权保护意识相对薄弱的法治环境里，我们也应该尽量提升自己的保密意识，加强对个人信息的保护和合理运用。

作者简介：田惠东(1967- )，女，汉族，河北定兴人，副高级会计师，本科学历，研究方向：财务管理，单位：保定市第一医院