面向大数据的索引结构研究论文

基于大数据的视觉搜索应用与组织模式研究当前视觉搜索已成为信息科学领域的前沿课题，主要用于分析和研究现实世界实体属性、行为、事件与视觉大数据资源之间的发展规律，针对视觉大数据资源的获取、组织、描述与利用问题，研究视觉资源及其时空关联信息之间的价值发现与资源整合的内在机理当前视觉搜索已成为信息科学领域的前沿课题，主要用于分析和研究现实世界实体属性、行为、事件与视觉大数据资源之间的发展规律，针对视觉大数据资源的获取、组织、描述与利用问题，研究视觉资源及其时空关联信息之间的价值发现与资源整合的内在机理，解决其多维关联与协同融合问题，进而实现视觉大数据资源的有效整合、知识发现与实时交互。基于此，本研究从宏观与中观角度，从信息科学视角下视觉搜索研究的起源着手，对其发展历程、概念与特点进行描述，围绕其理论与应用研究的几个关键问题展开讨论，并简要探讨其最新研究进展及应用。1、大数据环境下视觉搜索的发展历程及特点 问题的提出视觉搜索不是一个新名词，它最早出现于心理学与生理学领域，用于描述人们通过视觉通道在特定区域内检测某特定目标是否出现或出现后确定其位置的行为。如在地图上找某大学所处位置、在食堂内点菜、在书架上找书或在图书馆内找人等。在现实世界中，人们经常需要利用视觉搜索在复杂物理环境中获取有价值的信息，来决定接下来的语言和行为。因此，视觉搜索理论受到心理学家和人因(HumanFactors)学家的广泛关注，大量研究集中在对人类视觉认知、生理反馈机理的理解与表达上，并总结出了许多应用型和理论型知识。正是由于视觉搜索的可用性和有效性，使得许多工作、行业、领域都离不开这一生理行为。相关基础理论和关键技术的不断发展与完善，促使传统视觉搜索应用不断向信息化、技术化和网络化方向发展，如何将传统视觉搜索行为转换成“所见即所知”式视觉搜索模式，这一难题逐渐摆在了人们面前。与此同时，网络环境、信息技术、计算性能、存储空间、数据规模与软硬件设施等方面的飞速提升，也为客观物理世界与虚拟网络空间之间建立起密不可分的关联关系，使视觉搜索技术的实现成为可能。人们可以方便快捷地采集客观物理世界中的视觉对象，从互联网中获取与之相关的关联信息。 视觉搜索发展历程及发展趋势近几年来，随着大数据环境的逐步完善和大数据技术的迅速发展，关于视觉资源整合与视觉搜索研究的呼声越来越大。Nature和Science分别于2008年、2011年出版了大数据专题研究，提出图像、视频与用户交互信息是未来大数据的重要组成部分。2009年，Stanford University的Griod、Chandrasekhar等学者将视觉搜索理论引入到信息检索领域，提出Visual Search、Mobile Visual Search等概念，举办了第一届移动视觉搜索研讨会，并对其体系结构、应用与服务模式等问题进行了探讨。2010年，Google技术研究部前主管Norvig在Nature上发表的专题论文2020Visions中指出，“文本、图像和视频等视觉资源及用户交互信息、传感信息的有机融合，会给搜索引擎带来巨大挑战，如何对视觉搜索结果进行资源深度整合将会成为Google未来10年面临的最大挑战。”同年，北京大学高文、黄铁军与段凌宇等将其引入国内，举办了第二届移动视觉搜索研讨会，并围绕其关键技术、体系结构、视觉资源组织与描述方法、视觉资源标准化与视觉知识库建设等问题展开了研讨。2012年，这一理论与技术迅速被中国计算机学会所接受，认为将视觉搜索与增强现实技术相结合的信息检索模式，将是继搜索引擎之后的新一代互联网服务范式。随后，张兴旺、朱庆华等尝试将其引入数字图书馆领域，并围绕相关理论与应用模式展开了研究。根据视觉搜索研究的发展轨迹来看，国内关于视觉搜索研究总体仍处于探索与尝试阶段，研究轨迹已基本跨过早期理论性尝试过程，正步入中期技术性和应用性探索阶段。尤其是在我国科学技术部于2011年启动国家重点基础研究发展计划(“973”计划)“面向公共安全的跨媒体计算理论与方法”，对跨媒体视觉资源的统一表示和建模方法、关联推理和深度挖掘、综合搜索和内容合成等关键科学问题进行研究之后，国内相关研究步入快速发展阶段。自2015年以来，视觉搜索理论与应用研究的重要性和必要性更加凸显，国务院2015年9月印发的《促进大数据发展行动纲要》提出，要充分利用大数据，提升领域数据资源的获取和利用能力，推动各类数据融合和资源整合。国务院2015年7月印发的《关于积极推进“互联网+”行动的指导意见》提出“构建包括语音、图像、视频、地图等数据的海量训练资源库，加强人工智能基础资源和公共服务等创新平台建设”。国家自然科学重大研究计划“大数据驱动的管理与决策研究”认为“大数据价值的产生机理和转换规律具有高度的应用领域依赖性”。科技部2016年发布的《关于发布国家重点研发计划精准医学研究等重点专项2016年度项目申报指南的通知》的“云计算和大数据重点专项”中更是明确将“面向大范围场景透彻感知的视觉大数据智能分析关键技术”列为重点研究内容之一，要求对视觉语义建模、视觉对象的时空定位与搜索、跨场景数据关联技术等展开研究。 视觉搜索研究对象及视觉大数据资源特点视觉搜索的研究已逐渐发展成为信息检索领域的主要研究趋势，到目前为止，关于视觉搜索的定义尚未形成统一的认识，但从信息检索角度来看，大家对它的普遍理解是指将客观物理世界中的视觉资源作为检索对象，通过互联网去获取关联信息的一种信息检索方式。它是以视觉大数据资源及其关联信息为研究对象，以视觉大数据资源的获取、分析、组织、理解和表达方法为主要研究内容，以信息技术与方法为主要研究手段，以发现视觉大数据资源蕴含的知识价值和拓展其利用能力为主要研究目标的一种综合性的应用型前沿领域。它主要针对的是当前大数据环境下海量、多元异构、动态无序和高速进化的视觉资源的分析和利用问题，重点研究的是如何充分利用当前飞速发展的信息技术来解决视觉大数据资源的理解和表达，如何有效地实现视觉搜索，如何利用视觉搜索技术来从海量视觉大数据资源中发现新的知识。毫无疑问，未来是一个智慧(或称之为“互联网+”)的时代。智慧地球、智慧城市、智慧图书馆等理论与应用的迅速发展，给视觉搜索理论与应用研究提供了“沃土”。“互联网+”时代所衍生的数据规模的剧增，文本、图像、音视频、用户交互信息与各种传感信息会成为“数据海洋”的主流，而这些数据来源中超过80%来自于人类视觉通道，现阶段把握“互联网+”时代信息检索和知识服务未来发展脉络的最重要手段可能是视觉搜索。视觉大数据资源因其包含文本、图像、音视频与用户观看记录等复杂无序、动态变化的时空信息，使其成为数字图书馆中内容最丰富的信息载体，并将会成为“互联网+”时代最为重要的信息表达和信息传播媒介。而以视觉大数据资源为研究对象的视觉搜索，由于前者所处知识空间的知识实体与知识价值在时间、空间和属性三个方面的自有特性，使得视觉搜索也呈现出复杂无序、动态变化和时空语义关联等特性，同时也需要对视觉大数据资源的形式化表达、系统化组织、结构化描述与时空关联关系分析方法等进行研究。由此可得知视觉大数据资源主要具有以下特征：视觉大数据资源包含文本、图像、视频、用户观看信息及用户交互信息等时空信息，并且它所包含的视觉对象、事物内容、事件过程在时间、空间、语义等方面具有时序或时空关联关系。视觉大数据资源具有时空语义关联、动态变化、数据规模大和结构复杂等特点，这些基于视觉对象、事物内容、事件过程的动态变化可以用时空语义关联进行表达和描述，其获取、组织和描述过程可以用机器语言来进行表达，通过视觉对象、事物内容、事件过程之间的语义关联映射，建立视觉大数据资源的时空语义关联关系。视觉大数据资源具有数据规模大、结构复杂、类型多元、多维尺度关联和纵深纬度高等特性，可根据视觉大数据资源的时空语义关系建立对应的尺度关联机制。针对不同尺度、纵深纬度的视觉大数据资源的时空关联关系，可实现视觉对象、事物内容、事件过程之间的多维尺度转换和重置，进而实现视觉大数据资源的语义关联关系分析。视觉大数据资源能提供基于视觉资源内容来理解视觉对象行为，根据视觉对象的时空语义关联关系建立起发展趋势模型，并根据有效组织、理解和描述来预测某特定事物在某特定阶段将可能发生的行为态势。可针对视觉大数据资源的获取、组织、理解和描述问题，来实现用户与视觉大数据资源之间的实时交互、反馈和视觉对象知识库的构建。根据视觉对象的相似行为特征、时空关联关系和实时交互结果，来帮助人们制作、生产、运营和消费新的视觉资源，满足数字图书馆用户的多元化知识服务需求。2、大数据环境下视觉搜索的应用与组织模式视觉大数据资源经过组织、分析、处理和整合，并建立基于特定领域的数字图书馆视觉搜索平台之后，才能为用户提供大数据知识服务。不同学科、领域的视觉搜索模式对视觉大数据资源的获取、组织、处理与整合模式会有所不同。正因如此，当前大部分应用是从知识服务与信息检索角度，建立起领域导向的视觉大数据资源整合平台，通过视觉搜索来对视觉大数据资源进行有效管理与利用，并按照特定学科、专业和领域的知识服务需求来提供服务，从而满足各类大数据知识服务需求。 基于深度学习的视觉搜索工业应用模式传统视觉搜索研究主要是先采用人工标注方法对视觉资源的底层特征进行标注后，再采用机器学习方法来解决视觉资源之间的语义鸿沟、异构鸿沟与语义关联之间的问题。基于人工标注的视觉大数据资源整合与利用方法，需要标注者拥有丰富的专业领域知识和工业应用经验，需耗费大量的时间和人力成本，且精确性低。与对视觉资源特征进行人工标注方法不同的是，深度学习一般都是通过对视觉资源特征进行多层神经网络训练后，进行视觉特征学习，进而获取到特征提取更合理、区分性更强的视觉特征理解和描述。大量研究证明通过深度分析方法所提取到的视觉特征在图像分类与识别、视觉场景识别、智能监控、语音识别、知识图谱构建等应用领域都获得过成功。视觉资源的显著性特征提取和分割方法，能够采用模拟人类视觉系统和生理认知体系来提取视觉资源中显著性特征区域。目前，性能相对最好的视觉资源特征提取方法在公开的视觉大数据资源数据集中的显著性特征检测准确率在95%左右，视觉资源前景特征分割准确率将近92%，这一比例在近几年全球性各类大规模视觉资源分析与识别比赛中，仍然在不断增加。比如，Google研究组在大规模视觉识别挑战赛(ILSVRC)中，采用改进的深度卷积网络Google Net将图像识别准确率提升到93%;Google小组在微软图像标题生成挑战赛(MS COCO ICC)中，采用基于深度分析的图像特征提取方法获得冠军;悉尼科技大学与卡耐基梅隆大学、微软亚洲研究院和浙江大学在THUMOS比赛中，均将深度分析方法与视觉对象运动特征结合起来对视觉资源进行动作识别，分别获得前三名。传统学术研究的理论成果往往需要很长一段时间发展，才能逐渐走向成熟，并进入到实际的工业应用中去。但无论是深度学习，还是视觉搜索，它们都拥有着极强的工程理论模型。一方面，它们在被学术界关注和研究的同时，也被工业领域所密切关注和尝试;另一方面，由于工业领域(如Google、百度、微软等)早就拥有着大规模的视觉大数据资源，且一直活跃在诸多信息科学领域的研究前沿，在很多领域，它们相较于学术界更有优势。如Google的知识图谱Knowledge Graph，Google Now与Google街景地图，微软的语音助手Cortana，爱奇艺的爱奇艺大脑，Facebook的Graph Search等均属于工业界视觉搜索较为经典的应用案例。事实上，国外工业界各大公司，如Google，Facebook，Microsoft等对视觉搜索不仅仅只是开展大量的研究，甚至还在内部成立了专门研究机构，国内的百度、华为、腾讯和阿里巴巴也不例外。 基于知识计算的视觉搜索知识服务模式数字图书馆领域对视觉搜索理论与应用展开研究的一个重要目的，就是为高校和科研机构的研究人员提供嵌入式协作化的知识服务，而数字图书馆视觉搜索平台是将海量视觉大数据资源与平台提供的视觉大数据资源的组织、分析和处理功能嵌入到知识服务过程中。视觉大数据资源整合与利用是当前国内外人工智能、信息检索领域的研究热点，拥有非常广泛的应用与研究前景。事实上，图像搜索作为视觉搜索的一个研究分支方向，近几年来，国内已有很多个人(如中国科学院高科、北京大学高文与黄铁军、南京大学朱庆华)、机构(如浙江大学、清华大学、北京大学、中国科学院计算所等)、企业(如爱奇艺、百度、腾讯、360、搜狗等)正在做与之相关的研究，并且很多已经推出了基于内容的图像搜索平台，为用户提供图像搜索服务。而美国的麻省理工学院、加州大学伯克利分校、伊利诺伊大学和英国的牛津大学等相关研究工作开始得更早，也研发出了相应的基于图像内容的图像搜索系统。在以上所有相关研究中，它们都具有一个典型的研究特征：研究目的是为了解决视觉搜索的应用问题，而对应的视觉搜索模式大部分是基于知识计算。由于视觉搜索需要组织、分析和处理的对象主要包括文本、图像、视频等各类蕴含大量价值的视觉资源，因此，如何从视觉大数据资源中获取有价值的知识，就成为国外学术界和工业界一直以来的研究热点。以发掘视觉大数据资源中蕴含的丰富的、复杂关联的知识为目的的知识库称之为视觉对象知识库。目前，全球基于文本、图像、音视频等视觉资源的各类知识库有不少于60种，而基于这些视觉对象知识库的具体应用案例和系统平台也有几百种。其中，比较有代表性的应用案例有维基百科的DBpedia(2014版中包含万部电影、万张唱片、45万个物件等)、Google的知识图谱Knowledge Graph(包括地标、城市、人名、建筑、电影、艺术作品等5亿个搜索结果实体与350亿条关联知识条目)、Facebook的Graph Search(包含10亿名用户、2400亿张图像、10000亿次页面访问量等)等。借助视觉搜索的相关理论与技术，开展对海量、异构、多元的视觉大数据资源的研究，不仅可丰富信息检索的外延和内涵，而且可以有效地解决当前数字图书馆所面临的“大数据、小知识、小服务”的瓶颈，具有一定的应用价值和现实意义。 基于语义分析的视觉内容关联组织模式从已有研究来看，视觉搜索的研究对象大部分集中在文本与图像上，其中图像搜索是学者们着力解决的重点方向。视觉搜索研究可分为3个阶段：一是20世纪70年代末期开始的基于文本/元数据的图像搜索。这一方式主要通过人工标注元数据对图像进行描述，来实现对图像的信息检索功能，缺点是元数据标注费时费力，描述标准与反馈内容不完整，且容易有太多主观色彩。二是20世纪90年代开始提出基于视觉内容的图像搜索方法。这一方式其本质是采用人工构造图像底层视觉特征的方式来进行图像相似性比较，进而实现图像搜索，缺点是对图像底层特征和高层语义之间存在的语义鸿沟问题没有得到较好解决。三是21世纪初期提出的基于深度学习的图像搜索方法。社交网络与用户生成内容成为网络数据的主要来源，利用用户标签对图像语义进行组织、表达和理解成为研究主流，深度学习方法由此融入到相关领域。与图像搜索相比，视频表达和分析则是视觉搜索领域相对较新的研究领域。视频由大量图像帧组成，且图像帧之间有较为紧密的时空与语义关联关系，这对视觉搜索技术要求更高。但由于深度学习在文本与图像搜索领域所取得的成功，学者们开始借助于深度学习框架，对视频进行组织、理解和描述，尤其是在视频特征提取这一关键环节采取了以下几种方法：一是视频静态关键帧特征描述。由于视频是由大量图像帧按时序与语义关联组成，故可采用深度学习方法对静态视频帧(即图像关键帧)进行特征学习。在具体应用中，一旦确定合理的静态关键帧提取和编码方式，也能形成较好的视频描述效果。二是动态视频时序特征描述。有学者曾提出密集轨迹方法对视频进行分析，取得了不错效果。三是前面两种方法的有机结合。牛津大学的Simonyan等提出采用时间和空间深度神经网络来对视频进行分析，时间轴输入的原始视频，用于对视频中的视觉对象进行识别，空间轴输入的时序关联场，用于对视频中视觉对象的动作及其轨迹进行识别。目前国内外也有大量针对视觉内容分析与表达方面的竞赛，比如2013年美国佛罗里达大学组织开展的THUMOS比赛，就对海量视觉数据集中异构无序的视觉资源进行分析和理解，该项赛事随后每年都会开展相关研究。国内外许多高校、科研机构都积极参与到该项赛事中，如清华大学、浙江大学、香港中文大学、卡耐基梅隆大学、悉尼科技大学等。美国国家标准与技术研究所2011年组织开展的TRECVID比赛，针对大规模视觉数据集中复杂视觉资源中事件监测问题展开研究。近几年来，该项赛事也一直在围绕着这个主题开展相关研究，国内许多高校，如复旦大学、浙江大学、北京理工大学与同济大学等，在这项赛事中也获得了一定成绩。目前虽然在视觉大数据资源的组织、分析、理解和利用方法上有很多研究成果，但这些成果最终目的是应用于视觉搜索。近年来一系列研究对于视觉搜索及其在各行业、领域的应用与推广工作起到了积极作用，这对于数字图书馆领域而言，是一个积极信号。3 大数据环境下视觉搜索研究的5个核心问题尽管视觉搜索已经获得了工业界和学术界(包括数字图书馆领域在内)的高度关注，但目前在国内并未得到广泛应用及推广，主要原因是由于相关技术与应用产品尚未完全成熟，存在着视觉搜索性能不够理想或不够稳定、用户体验质量不佳、应用局限性较强等问题，围绕这些问题，就需要从视觉搜索研究基础理论与技术角度来解决。从数字图书馆视觉搜索模式构建流程[1]来看，视觉搜索研究主要包括5个核心问题，分别描述如下。视觉大数据资源的获取与组织方法。互联网环境下视觉大数据资源的存在形式是动态无序和异构离散的，视觉资源的生产和发布是动态变化的。视觉资源所蕴含的信息内容都包含多个异构、复杂的信息主题，彼此之间存在语义时空关联关系。而传统基于人工标注的视觉资源标注方法往往不够精确，因此，如何快速获取到所需视觉资源，是视觉搜索应用的关键问题。而对与待搜索视觉对象无关的视觉资源的清洗过滤，以及视觉大数据资源的有效组织是视觉搜索应用的核心问题。视觉大数据资源的理解与表达方法。为了在海量视觉大数据资源中找到与待搜索对象一致的视觉资源，就需要从符合待搜索视觉资源的特征分析与理解出发，对其视觉内容进行多元化、结构化、多层次的深度理解和表达。视觉大数据资源整合与交互方法。视觉搜索作为一种信息检索模式，其服务对象是用户。对视觉大数据资源的获取与组织、理解与表达的目的是为了给用户提供智慧化、人性化的知识服务。因此，如何围绕视觉大数据资源整合全生命周期进行多维度分析，从而满足用户对视觉大数据资源的多元化知识服务需求，也是视觉搜索研究能否成为现实的核心问题。视觉对象知识库建设及标准化问题。视觉搜索依赖于视觉对象知识库的建设。基于高质量的视觉对象知识库，用户可快速将待搜索视觉对象与虚拟信息空间中的视觉大数据资源进行有效关联，从而享受到数字图书馆提供的视觉搜索知识服务。同时，标准化问题也是视觉搜索应用能否顺利应用和推广的关键所在。视觉搜索体系的安全与可靠性理论。无论在任何时候，网络安全及系统可靠性问题是永远无法回避的难题，视觉搜索亦不例外。在视觉搜索体系中，数据安全性与知识产权、用户隐私权、系统可用性与可靠性等问题亦是视觉搜索能否得到有效推广与应用的核心问题。4 总结与展望在“互联网+”时代，信息服务正越来越广泛地深入到用户智慧化、个性化和嵌入式的知识服务需求中去，数字图书馆领域开始呼唤新型的杀手级信息检索模式。视觉搜索是当前信息检索领域发展的一个重要前沿和创新突破口，在充分汲取国内外信息科学领域先进研究成果的基础上，开展数字图书馆视觉搜索基础理论与应用研究，不仅有望从理论上丰富数字图书馆知识服务研究思想与未来发展框架，也有利于揭示数字图书馆中视觉大数据资源价值的产生机理与转换规律。毫无疑问，人类正在向“‘互联网+’时代”迈进，作为一种技术与理念创新，视觉搜索必然符合一般信息技术生存、发展与成熟基本规律，需要经历技术诞生的萌芽期、飞速进步的发展期、迅速膨胀的高峰期、去泡沫化的低谷期、稳步发展的光明期和实际应用的高峰期6个阶段。目前来看，国内外已有视觉搜索研究正处于发展期，存在着理论与技术交叉之后学科间的不平衡这一问题。当前视觉搜索的理论、方法与技术研究主要集中在商业型视觉搜索应用上，对于产生视觉大数据资源的学术领域则关注较少。实际上，以科学研究、学科服务等学术领域为代表的视觉大数据资源，具有异于商业型应用的丰富内涵与独特特征，只有全面掌握商业应用与学术领域的相关研究，才有助于建立更加科学、系统、合理的视觉搜索理论体系和应用框架。

在大数据环境下，计算机信息处理技术也面临新的挑战，要求计算机信息处理技术必须不断的更新发展，以能够对当前的计算机信息处理需求满足。下面是我给大家推荐的计算机与大数据的相关论文，希望大家喜欢!计算机与大数据的相关论文篇一 浅谈“大数据”时代的计算机信息处理技术 [摘 要]在大数据环境下，计算机信息处理技术也面临新的挑战，要求计算机信息处理技术必须不断的更新发展，以能够对当前的计算机信息处理需求满足。本文重点分析大数据时代的计算机信息处理技术。 [关键词]大数据时代;计算机;信息处理技术 在科学技术迅速发展的当前，大数据时代已经到来，大数据时代已经占领了整个环境，它对计算机的信息处理技术产生了很大的影响。计算机在短短的几年内，从稀少到普及，使人们的生活有了翻天覆地的变化，计算机的快速发展和应用使人们走进了大数据时代，这就要求对计算机信息处理技术应用时，则也就需要在之前基础上对技术实施创新，优化结构处理，从而让计算机数据更符合当前时代发展。 一、大数据时代信息及其传播特点 自从“大数据”时代的到来，人们的信息接收量有明显加大，在信息传播中也出现传播速度快、数据量大以及多样化等特点。其中数据量大是目前信息最显著的特点，随着时间的不断变化计算机信息处理量也有显著加大，只能够用海量还对当前信息数量之大形容;传播速度快也是当前信息的主要特点，计算机在信息传播中传播途径相当广泛，传播速度也相当惊人，1s内可以完成整个信息传播任务，具有较高传播效率。在传播信息过程中，还需要实施一定的信息处理，在此过程中则需要应用相应的信息处理工具，实现对信息的专门处理，随着目前信息处理任务的不断加强，信息处理工具也有不断的进行创新[1];信息多样化，则也就是目前数据具有多种类型，在庞大的数据库中，信息以不同的类型存在着，其中包括有文字、图片、视频等等。这些信息类型的格式也在不断发生着变化，从而进一步提高了计算机信息处理难度。目前计算机的处理能力、打印能力等各项能力均有显著提升，尤其是当前软件技术的迅速发展，进一步提高了计算机应用便利性。微电子技术的发展促进了微型计算机的应用发展，进一步强化了计算机应用管理条件。 大数据信息不但具有较大容量，同时相对于传统数据来讲进一步增强了信息间关联性，同时关联结构也越来越复杂，导致在进行信息处理中需要面临新的难度。在 网络技术 发展中重点集中在传输结构发展上，在这种情况下计算机必须要首先实现网络传输结构的开放性设定，从而打破之前计算机信息处理中，硬件所具有的限制作用。因为在当前计算机网络发展中还存在一定的不足，在完成云计算机网络构建之后，才能够在信息处理过程中，真正的实现收放自如[2]。 二、大数据时代的计算机信息处理技术 (一)数据收集和传播技术 现在人们通过电脑也就可以接收到不同的信息类型，但是在进行信息发布之前，工作人员必须要根据需要采用信息处理技术实施相应的信息处理。计算机采用信息处理技术实施信息处理，此过程具有一定复杂性，首先需要进行数据收集，在将相关有效信息收集之后首先对这些信息实施初步分析，完成信息的初级操作处理，总体上来说信息处理主要包括：分类、分析以及整理。只有将这三步操作全部都完成之后，才能够把这些信息完整的在计算机网络上进行传播，让用户依照自己的实际需求筛选满足自己需求的信息，借助于计算机传播特点将信息数据的阅读价值有效的实现。 (二)信息存储技术 在目前计算机网络中出现了很多视频和虚拟网页等内容，随着人们信息接收量的不断加大，对信息储存空间也有较大需求，这也就是对计算机信息存储技术提供了一个新的要求。在数据存储过程中，已经出现一系列存储空间无法满足当前存储要求，因此必须要对当前计算机存储技术实施创新发展。一般来讲计算机数据存储空间可以对当前用户关于不同信息的存储需求满足，但是也有一部分用户对于计算机存储具有较高要求，在这种情况下也就必须要提高计算机数据存储性能[3]，从而为计算机存储效率提供有效保障。因此可以在大数据存储特点上完成计算机信息新存储方式，不但可以有效的满足用户信息存储需求，同时还可以有效的保障普通储存空间不会出现被大数据消耗问题。 (三)信息安全技术 大量数据信息在计算机技术发展过程中的出现，导致有一部分信息内容已经出现和之前信息形式的偏移，构建出一些新的计算机信息关联结构，同时具有非常强大的数据关联性，从而也就导致在计算机信息处理中出现了新的问题，一旦在信息处理过程中某个信息出现问题，也就会导致与之关联紧密的数据出现问题。在实施相应的计算机信息管理的时候，也不像之前一样直接在单一数据信息之上建立，必须要实现整个数据库中所有将数据的统一安全管理。从一些角度分析，这种模式可以对计算机信息处理技术水平有显著提升，并且也为计算机信息处理技术发展指明了方向，但是因为在计算机硬件中存在一定的性能不足，也就导致在大数据信息安全管理中具有一定难度。想要为数据安全提供有效保障，就必须要注重数据安全技术管理技术的发展。加强当前信息安全体系建设，另外也必须要对计算机信息管理人员专业水平进行培养，提高管理人员专业素质和专业能力，从而更好的满足当前网络信息管理体系发展需求，同时也要加强关于安全技术的全面深入研究工作[4]。目前在大数据时代下计算机信息安全管理技术发展还不够成熟，对于大量的信息还不能够实施全面的安全性检测，因此在未来计算机信息技术研究中安全管理属于重点方向。但是因为目前还没有构建完善的计算机安全信息管理体系，因此首先应该强化关于计算机重点信息的安全管理，这些信息一旦发生泄漏，就有可能会导致出现非常严重的损失。目前来看，这种 方法 具有一定可行性。 (四)信息加工、传输技术 在实施计算机信息数据处理和传输过程中，首先需要完成数据采集，同时还要实时监控数据信息源，在数据库中将采集来的各种信息数据进行存储，所有数据信息的第一步均是完成采集。其次才能够对这些采集来的信息进行加工处理，通常来说也就是各种分类及加工。最后把已经处理好的信息，通过数据传送系统完整的传输到客户端，为用户阅读提供便利。 结语： 在大数据时代下，计算机信息处理技术也存在一定的发展难度，从目前专业方面来看，还存在一些问题无法解决，但是这些难题均蕴含着信息技术发展的重要机遇。在当前计算机硬件中，想要完成计算机更新也存在一定的难度，但是目前计算机未来的发展方向依旧是云计算网络，把网络数据和计算机硬件数据两者分开，也就有助于实现云计算机网络的有效转化。随着科学技术的不断发展相信在未来的某一天定能够进入到计算机信息处理的高速发展阶段。 参考文献 [1] 冯潇婧.“大数据”时代背景下计算机信息处理技术的分析[J].计算机光盘软件与应用，2014，(05)：105+107. [2] 詹少强.基于“大数据”时代剖析计算机信息处理技术[J].网络安全技术与应用，2014，(08)：49-50. [3] 曹婷.在信息网络下计算机信息处理技术的安全性[J].民营科技，2014， (12)：89CNKI [4] 申鹏.“大数据”时代的计算机信息处理技术初探[J].计算机光盘软件与应用，2014，(21)：109-110 计算机与大数据的相关论文篇二 试谈计算机软件技术在大数据时代的应用 摘要：大数据的爆炸式增长在大容量、多样性和高增速方面，全面考验着现代企业的数据处理和分析能力;同时，也为企业带来了获取更丰富、更深入和更准确地洞察市场行为的大量机会。对企业而言，能够从大数据中获得全新价值的消息是令人振奋的。然而，如何从大数据中发掘出“真金白银”则是一个现实的挑战。这就要求采用一套全新的、对企业决策具有深远影响的解决方案。 关键词：计算机 大数据时代 容量 准确 价值 影响 方案 1 概述 自从计算机出现以后，传统的计算工作已经逐步被淘汰出去，为了在新的竞争与挑战中取得胜利，许多网络公司开始致力于数据存储与数据库的研究，为互联网用户提供各种服务。随着云时代的来临，大数据已经开始被人们广泛关注。一般来讲，大数据指的是这样的一种现象：互联网在不断运营过程中逐步壮大，产生的数据越来越多，甚至已经达到了10亿T。大数据时代的到来给计算机信息处理技术带来了更多的机遇和挑战，随着科技的发展，计算机信息处理技术一定会越来越完善，为我们提供更大的方便。 大数据是IT行业在云计算和物联网之后的又一次技术变革，在企业的管理、国家的治理和人们的生活方式等领域都造成了巨大的影响。大数据将网民与消费的界限和企业之间的界限变得模糊，在这里，数据才是最核心的资产，对于企业的运营模式、组织结构以及 文化 塑造中起着很大的作用。所有的企业在大数据时代都将面对战略、组织、文化、公共关系和人才培养等许多方面的挑战，但是也会迎来很大的机遇，因为只是作为一种共享的公共网络资源，其层次化和商业化不但会为其自身发展带来新的契机，而且良好的服务品质更会让其充分具有独创性和专用性的鲜明特点。所以，知识层次化和商业化势必会开启知识创造的崭新时代。可见，这是一个竞争与机遇并存的时代。 2 大数据时代的数据整合应用 自从2013年，大数据应用带来令人瞩目的成绩，不仅国内外的产业界与科技界，还有各国政府部门都在积极布局、制定战略规划。更多的机构和企业都准备好了迎接大数据时代的到来，大数据的内涵应是数据的资产化和服务化，而挖掘数据的内在价值是研究大数据技术的最终目标。在应用数据快速增长的背景下，为了降低成本获得更好的能效，越来越趋向专用化的系统架构和数据处理技术逐渐摆脱传统的通用技术体系。如何解决“通用”和“专用”体系和技术的取舍，以及如何解决数据资产化和价值挖掘问题。 企业数据的应用内容涵盖数据获取与清理、传输、存储、计算、挖掘、展现、开发平台与应用市场等方面，覆盖了数据生产的全生命周期。除了Hadoop版本系统YARN，以及Spark等新型系统架构介绍外，还将探讨研究流式计算(Storm，Samza，Puma，S4等)、实时计算(Dremel，Impala，Drill)、图计算(Pregel，Hama，Graphlab)、NoSQL、NewSQL和BigSQL等的最新进展。在大数据时代，借力计算机智能(MI)技术，通过更透明、更可用的数据，企业可以释放更多蕴含在数据中的价值。实时、有效的一线质量数据可以更好地帮助企业提高产品品质、降低生产成本。企业领导者也可根据真实可靠的数据制订正确战略经营决策，让企业真正实现高度的计算机智能决策办公，下面我们从通信和商业运营两个方面进行阐述。 通信行业：XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取 措施 ，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。中国移动通过大数据分析，对 企业运营 的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。 商业运营：辛辛那提动物园使用了Cognos，为iPad提供了单一视图查看管理即时访问的游客和商务信息的服务。借此，动物园可以获得新的收入来源和提高营收，并根据这些信息及时调整营销政策。数据收集和分析工具能够帮助银行设立最佳网点，确定最好的网点位置，帮助这个银行更好地运作业务，推动业务的成长。 3 企业信息解决方案在大数据时代的应用 企业信息管理软件广泛应用于解决欺诈侦测、雇员流动、客户获取与维持、网络销售、市场细分、风险分析、亲和性分析、客户满意度、破产预测和投资组合分析等多样化问题。根据大数据时代的企业挖掘的特征，提出了数据挖掘的SEMMA方法论――在SAS/EM环境中，数据挖掘过程被划分为Sample、Explore、Modify、Model、Assess这五个阶段，简记为SEMMA： Sample 抽取一些代表性的样本数据集(通常为训练集、验证集和测试集)。样本容量的选择标准为：包含足够的重要信息，同时也要便于分析操作。该步骤涉及的处理工具为：数据导入、合并、粘贴、过滤以及统计抽样方法。 Explore 通过考察关联性、趋势性以及异常值的方式来探索数据，增进对于数据的认识。该步骤涉及的工具为：统计 报告 、视图探索、变量选择以及变量聚类等方法。 Modify 以模型选择为目标，通过创建、选择以及转换变量的方式来修改数据集。该步骤涉及工具为：变量转换、缺失处理、重新编码以及数据分箱等。 Model 为了获得可靠的预测结果，我们需要借助于分析工具来训练统计模型或者机器学习模型。该步骤涉及技术为：线性及逻辑回归、决策树、神经网络、偏最小二乘法、LARS及LASSO、K近邻法以及其他用户(包括非SAS用户)的模型算法。 Assess 评估数据挖掘结果的有效性和可靠性。涉及技术为：比较模型及计算新的拟合统计量、临界分析、决策支持、报告生成、评分代码管理等。数据挖掘者可能不会使用全部SEMMA分析步骤。然而，在获得满意结果之前，可能需要多次重复其中部分或者全部步骤。 在完成SEMMA步骤后，可将从优选模型中获取的评分公式应用于(可能不含目标变量的)新数据。将优选公式应用于新数据，这是大多数数据挖掘问题的目标。此外，先进的可视化工具使得用户能在多维直方图中快速、轻松地查阅大量数据并以图形化方式比较模拟结果。SAS/EM包括了一些非同寻常的工具，比如：能用来产生数据挖掘流程图的完整评分代码(SAS、C以及Java代码)的工具，以及交换式进行新数据评分计算和考察执行结果的工具。 如果您将优选模型注册进入SAS元数据服务器，便可以让SAS/EG和SAS/DI Studio的用户分享您的模型，从而将优选模型的评分代码整合进入 工作报告 和生产流程之中。SAS模型管理系统，通过提供了开发、测试和生产系列环境的项目管理结构，进一步补充了数据挖掘过程，实现了与SAS/EM的无缝联接。 在SAS/EM环境中，您可以从SEMMA工具栏上拖放节点进入工作区的工艺流程图中，这种流程图驱动着整个数据挖掘过程。SAS/EM的图形用户界面(GUI)是按照这样的思路来设计的：一方面，掌握少量统计知识的商务分析者可以浏览数据挖掘过程的技术方法;另一方面，具备数量分析技术的专家可以用微调方式深入探索每一个分析节点。 4 结束语 在近十年时间里，数据采集、存储和数据分析技术飞速发展，大大降低了数据储存和处理的成本，一个大数据时代逐渐展现在我们的面前。大数据革新性地将海量数据处理变为可能，并且大幅降低了成本，使得越来越多跨专业学科的人投入到大数据的开发应用中来。 参考文献： [1]薛志文.浅析计算机网络技术及其发展趋势[J].信息与电脑，2009. [2]张帆，朱国仲.计算机网络技术发展综述[J].光盘技术，2007. [3]孙雅珍.计算机网络技术及其应用[J].东北水利水电，1994. [4]史萍.计算机网络技术的发展及展望[J].五邑大学学报，1999. [5]桑新民.步入信息时代的学习理论与实践[M].中央广播大学出版社，2000. [6]张浩，郭灿.数据可视化技术应用趋势与分类研究[J].软件导刊. [7]王丹.数字城市与城市地理信息产业化――机遇与挑战[J].遥感信息，2000(02). [8]杨凤霞.浅析 Excel 2000对数据的安全管理[J].湖北商业高等专科学校学报，2001(01). 计算机与大数据的相关论文篇三 浅谈利用大数据推进计算机审计的策略 [摘要]社会发展以及时代更新，在该种环境背景下大数据风潮席卷全球，尤其是在进入新时期之后数据方面处理技术更加成熟，各领域行业对此也给予了较高的关注，针对当前计算机审计(英文简称CAT)而言要想加速其发展脚步并将其质量拔高就需要结合大数据，依托于大数据实现长足发展，本文基于此就大数据于CAT影响进行着手分析，之后探讨依托于大数据良好推进CAT，以期为后续关于CAT方面研究提供理论上参考依据。 [关键词]大数据 计算机审计 影响 前言：相较于网络时代而言大数据风潮一方面提供了共享化以及开放化、深层次性资源，另一方面也促使信息管理具备精准性以及高效性，走进新时期CAT应该融合于大数据风潮中，相应CAT人员也需要积极应对大数据带了的机遇和挑战，正面CAT工作，进而促使CAT紧跟时代脚步。 一、初探大数据于CAT影响 影响之机遇 大数据于CAT影响体现在为CAT带来了较大发展机遇，具体来讲，信息技术的更新以及其质量的提升促使数据方面处理技术受到了众多领域行业的喜爱，当前在数据技术推广普及阶段中呈现三大变化趋势：其一是大众工作生活中涉及的数据开始由以往的样本数据实际转化为全数据。其二是全数据产生促使不同数据间具备复杂内部关系，而该种复杂关系从很大程度上也推动工作效率以及数据精准性日渐提升，尤其是数据间转化关系等更为清晰明了。其三是大众在当前处理数据环节中更加关注数据之间关系研究，相较于以往仅仅关注数据因果有了较大进步。基于上述三大变化趋势，也深刻的代表着大众对于数据处理的态度改变，尤其是在当下海量数据生成背景下，人工审计具备较强滞后性，只有依托于大数据并发挥其优势才能真正满足大众需求，而这也是大数据对CAT带来的重要发展机遇，更是促进CAT在新时期得以稳定发展重要手段。 影响之挑战 大数据于CAT影响还体现在为CAT带来一定挑战，具体来讲，审计评估实际工作质量优劣依托于其中数据质量，数据具备的高质量则集中在可靠真实以及内容详细和相应信息准确三方面，而在CAT实际工作环节中常常由于外界环境以及人为因素导致数据质量较低，如数据方面人为随意修改删除等等，而这些均是大数据环境背景下需要严格把控的重点工作内容。 二、探析依托于大数据良好推进CAT措施 数据质量的有效保障 依托于大数据良好推进CAT措施集中在数据质量有效保障上，对数据质量予以有效保障需要从两方面入手，其一是把控电子数据有效存储，简单来讲就是信息存储，对电子信息进行定期检查，监督数据实际传输，对信息系统予以有效确认以及评估和相应的测试等等，进而将不合理数据及时发现并找出信息系统不可靠不准确地方;其二是把控电子数据采集，通常电子数据具备多样化采集方式，如将审计单位相应数据库直接连接采集库进而实现数据采集，该种直接采集需要备份初始传输数据，避免数据采集之后相关人员随意修改，更加可以与审计单位进行数据采集真实性 承诺书 签订等等，最终通过电子数据方面采集以及存储两大内容把控促使数据质量更高，从而推动CAT发展。 公共数据平台的建立 依托于大数据良好推进CAT措施还集中在公共数据平台的建立，建立公共化分析平台一方面能够将所有采集的相关数据予以集中化管理存储，更能够予以多角度全方面有效分析;另一方面也能够推动CAT作业相关标准予以良好执行。如果将分析模型看作是CAT作业标准以及相应的核心技术，则公共分析平台则是标准执行和相应技术实现关键载体。依托于公共数据平台不仅能够将基础的CAT工作实现便捷化以及统一化，而且深层次的实质研究有利于CAT数据处理的高速性以及高效性，最终为推动CAT发展起到重要影响作用。 审计人员的强化培训 依托于大数据良好推进CAT措施除了集中在上述两方面之外，还集中在审计人员的强化培训上，具体来讲，培训重点关注审计工作于计算机上的具 体操 作以及操作重点难点，可以构建统一培训平台，在该培训平台中予以多元化资料的分享，聘请高技能丰富 经验 人士予以平台授课，提供专业技能知识沟通互动等等机会，最终通过强化培训提升审计人员综合素质，更加推动CAT未来发展。 三、结论 综上分析可知，当前大数据环境背景下CAT需要将日常工作予以不断调整，依托于大数据促使审计人员得以素质提升，并利用公共数据平台建立和相应的数据质量保障促使CAT工作更加高效，而本文对依托于大数据良好推进CAT进行研究旨在为未来CAT优化发展献出自己的一份研究力量。 猜你喜欢： 1. 人工智能与大数据论文 2. 大数据和人工智能论文 3. 计算机大数据论文参考 4. 计算机有关大数据的应用论文 5. 有关大数据应用的论文