现代信息检索论文: 现代信息检索方法的探讨 要想充分利用这些浩如烟海的文献信息资源，必须借助各种各样的检索工具。同时，因特网信息资源的骤增及其异构性、动态性，不断给信息检索带来新的挑战。信息检索已成为现代社会信息化和各种应用的关键。如何更高层次的模拟、应用人脑的智能原理，从本质上变革信息资源检索方法，已成为现代化信息知识检索理论研究的热点。实践证明，将人工智能技术与信息技术结合，发挥人工智能的作用，是一条成功的经验。下面就知识检索与信息检索的关联和发展，作初步的探讨。 一、布尔检索 利用布尔逻辑算符进行检索词或代码的逻辑组配，是现代信息检索系统中最常用的一种方法。常用的布尔逻辑算符有三种，分别是逻辑或“OR”、逻辑与“AND”、逻辑非“NOT”。用这些逻辑算符将检索词组配构成检索提问式，计算机将根据提问式与系统中的记录进行匹配，当两者相符时则命中，并自动输出该文献记录。 下面以“计算机”和“文献检索”两个词来解释三种逻辑算符的含义。①“计算机”AND“文献检索”，表示查找文献内容中既含有“计算机”又含有“文献检索”词的文献。②“计算机”OR“文献检索”，表示查找文献内容中含有“计算机”或含有“文献检索”以及两词都包含的文献。③“计算机”NOT“文献检索”，表示查找文献内容中含有“计算机”而不含有“文献检索”的那部分文献。 检索中逻辑算符使用是最频繁的，对逻辑算符使用的技巧决定检索结果的满意程度。用布尔逻辑表达检索要求，除要掌握检索课题的相关因素外，还应在布尔算符对检索结果的影响方面引起注意。另外，对同一个布尔逻辑提问式来说，不同的运算次序会有不同的检索结果。布尔算符使用正确但不能达到应有检索效果的事情是很多的。 二、信息检索 信息检索起源于图书馆的参考咨询和文摘索引工作，从19世纪下半叶首先开始发展，至20世纪40年代，索引和检索已成为图书馆独立的工具和用户服务项目。 信息检索通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。它是基于信息组织形式，如字符串、结构化数据库，应用信息处理方法，如排序数据查找、字符匹配，实现效率不高的检索。信息检索综合应用布尔检索方法和基于超链的检索技术，改进了基本检索功能，但缺点是对精确的提问不能给出精确的回答。从历史上看，信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。 目前，信息检索已经发展到网络化和智能化的阶段。信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容；信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众，他们对信息检索从结果到方式提出了更高、更多样化的要求。适应网络化、智能化以及个性化的需要是目前信息检索技术发展的新趋势。 三、知识检索 知识检索的基本思想是，模拟扩展人类关于知识处理与利用的智能行为和认识思维方法，是充分利用在线图书馆和数字图书馆的文献信息资源的有利工具。例如：抽象思维方法，形象思维方法。知识检索具有明显的优势：①实现信息服务向知识服务的转化，向用户提供潜在内容知识，以及分析预测后的超前性领域成果或知识。②提供主动服务方式，自动优化用户需求，主动提供个性化检索。③面向用户，依据用户的需求及其变化，能灵活选择理想的检索策略和技术，并且将繁重的知识信息存取工作从用户移向了计算机。④综合应用各类知识和各种高效的智能技术，全面提高检索效率。 知识检索是综合应用信息管理科学人工智能认知科学及语言学等多学科的先进理论与技术，基于知识和知识组织，融合知识处理和多媒体信息处理等多种方法与技术，充分表达和优化用户需求，能高效存取所有媒体类型的知识源，并能准确精选用户需要的结果。
信息检索技术论文 – 基于网格的面向专业内容的Web信息检索 1 引言 近年来，互联网得到了迅速的发展，网上信息资源愈来愈庞大，且信息具有量大、分散、异构等特性，因此，传统的Web信息检索工具开始暴露出它性能低下的一面，具体体现在现有的信息检索工具对用户的要求常常是找出了几千甚至上万条记录，根本无法从中再细找，或者找到的内容和要找的内容不是一个专业领域的，造成信息无效的现象。但随着人们信息意识的增强，对信息内容及信息服务的需求也在不断的演变和发展，对获取信息的专业化、实效性等方面有了新的要求。如何针对专业领域中特定的用户群为他们提供专业的、度身量造的信息服务，使用户在尽可能短的时间内有效的找到最需要的信息内容是大家普遍关注的一个问题。本文利用网格计算、集群系统、XML等技术设计了一个基于网格的面向专业内容的Web信息检索体系结构，它能将地理位置分散的、异构的信息按地区按专业内容从逻辑上进行合理的组织和管理，为用户快速、有效地获取自己所需要的信息提供了一种方法。 2 基于网格的面向专业内容的Web信息检索体系结构的设计 网格计算是近年来国际上兴起的一种重要信息技术，其目的是将网上各种资源组织在一个统一的大框架下，为解决大型复杂计算、数据服务和各种网络信息服务提供一个方便用户使用的虚拟平台，实现互联网上所有资源的全面连通，实现信息资源的全面共享。 为解决不同领域复杂科学计算与海量信息服务问题，人们以网络互连为基础构造了不同的网格，他们在体系结构，要解决的问题类型等方面各不相同，但网格计算至少需要具有三种基本功能：资源管理、任务管理、任务调度。本文设计的信息检索体系结构，围绕网格计算的基本功能及信息检索的特点，主要有以下三个层次组成：见图1 （1） 网格结点：结点是网格计算资源的提供者，本系统主要是由一系列的集群系统组成，它们在地理位置上是分布的，构成了一个分布检索群体，作为信息共享的基础结构平台。集群系统负责整个集群范围内的信息管理，维护和查询。 （2） 网格计算中间件：中间件是信息资源管理和用户任务调度、任务管理的工具。它是整个网格信息资源管理的核心部分，它根据用户的信息请求任务，在整个网格内负责信息资源的匹配、定位，实现用户任务到集群系统的映射。 （3） 网格用户层：主要为用户应用提供接口，支持用户对所需要的信息资源进行描述、创建、提交等。 图1 本系统的主要思想是在逻辑上将地理位置分散的、异构的信息划分、组建成多个集群系统，集群系统对集群内的资源进行管理和任务调度，再利用网格中间件对各集群系统进行管理，从而形成对整个网格资源的管理，并对用户的信息需求进行统一的管理和调度。这种管理模型既可以尊重各个集群系统的本地信息管理策略，又可利用中间件在全局意义上对网格信息资源进行管理。 2.1 集群系统的设计 由于Web信息资源数量十分庞大，用户在利用现有搜索引擎检索信息时面临一个海量数据的查询问题，往往造成在消耗巨大的通信资源后依然存在资源查不准、查不全的问题。目前基于单一系统映射的Web服务器集群系统能把若干服务器用局域网连接成一个整体，并使其从客户端看来就如同一台服务器在服务，这使得在逻辑上合并、组织地理位置分布的信息资源成为可能。因此本文首先考虑采用分布协作策略，将Web信息资源按地区按专业内容分割，一方面使信息资源数量相对缩小，便于数据的组织、管理和维护，另一方面按专业内容易于制定一个公用的XML规范，便于集群内各类信息资源的描述，从而可建立一个基于XML的面向专业内容的信息集成系统。集群系统的具体结构见图2。 集群服务器主要由接口Agent，基于专业内容的XML信息集成系统、资源服务Agent、资源发布Agent等组成。其中接口Agent根据任务提供的接口参数登记、接收、管理各种信息资源请求任务，并提供安全认证和授权。资源服务Agent根据信息资源请求任务，利用XML信息集成系统提供的数据，为用户提供实际的资源检索操作，并将检索结果信息发送给用户。资源发布Agent用于向网格中间件提供本地信息资源的逻辑数据及接口参数。 下面主要说明基于专业内容的XML信息集成系统的构造方法： XML（the eXtensible Markup Language）是 W3C于1998年宣布作为Internet上数据表示和数据交换的新标准，它是一种可以对信息进行自我描述的语言，它允许开发人员通过创建格式文件DTD（Document Type Definitions）定制标记来描述自己的数据，DTD规范是一个用来定义XML文件的语法、句法和数据结构的标准。 XML使用普通文本，因此具有跨平台的优点，XML的优点在于（1）简单、规范性：XML文档基于文本标签，有一套严谨而简洁的语法结构，便于计算机、用户理解；（2）可扩展性：用户可以自定义具有特定意义的标签，自定义的标签可以在任何组织、客户、应用之间共享；（3）自描述性：自描述性使其非常适用不同应用间的数据交换，而且这种交换是不以预先定义一组数据结构为前提，因此具有很强的开放性；（4）互操作性：XML可以把所有信息都存于文档中传输，而远程的应用程序又可以从中提取需要的信息。XML数据是不依赖于某个特定的平台的应用，因此它为基于特定专业内容的表达提供了一种极好的手段，可以作为表示专业内容的语言。 目前人们研制Web信息集成系统其基本方法可分成两类：存入仓库法（the ware-housing approach）和虚拟法(the virtual approach)，可使用这两类方法利用XML在数据组织和交换方面的优越性，采用格式文件DTD和XML文档表示基于专业内容的集成模式和集成模式与资源之间的映射，建立基于XML的Web信息集成系统，其结构与获取信息的工作过程参见文献[2]。 图2 2.2 网格中间件的设计 图3所示的网格中间件的主要功能是（1）消除不同用户与集群系统之间数据表达的差异，使信息资源数据对用户来说是透明的；（2）管理、维护Web上分布的各集群系统，网格中间件以关系数据库方式记录所有集群系统及其所包含的专业内容的逻辑信息，对关系数据库的操作可维护集群系统的分布式逻辑，使本结构在可变性和扩充性上具有柔性；（3）接受用户的信息请求任务，能快速定位于满足要求的集群系统，通过对关系数据库的查询实现用户信息请求任务与集群系统的对应关系。 内部主要功能模块说明如下： （1） 接收Agent模块：主要用于登记、接收、管理各种信息资源请求任务，并提供安全认证和授权。 （2） 关系数据库及数据服务Agent：关系数据库记录了所有集群系统及其所包含的专业内容的逻辑信息。数据服务Agent提供集群系统对关系数据库的使用权限和对数据记录的增加、删除、检索和修改等操作。 （3） 格式转换Agent模块：提供用户信息资源请求文档与各集群系统中文档的格式转换功能。由于XML是自定义的，各用户对同一数据有不同的表示方法（对信息资源描述存在差异）由于XML文档中这种格式差异体现在与之相关的DTD/Schema上，因此经过格式转换，可使信息资源的格式对用户是透明的。 （4） XML文档分析Agent模块：提取格式转换后的XML文档中各个标签，通过查询网格中间件中的关系数据库，实现用户信息请求任务与集群系统的对应关系，并得到满足条件的集群系统的相关信息，获取各集群系统的接口参数。 （5） 发送Agent模块：将转换过的信息资源请求XML文档发送到相应的集群系统中。 其中Agent技术是解决分布式智能应用问题的关键技术，Agent是指能够自主地、连续地在一动态变化的、存在于其它系统中运行的、且不断于环境交互的实体。在系统中引入Agent可使系统具有人的特征，代表用户完成用户的任务，并能动态适应环境的变化更好地满足用户的需求，提高信息检索的能力。
我给你找了一篇，摘要如下：
随着Internet在全世界范围内迅猛发展，网上庞大的数字化信息和人们获取信息之间的矛盾日益突出。因此，对网络信息的检索技术及其发展趋势进行探讨和研究，是一个既迫切而又实用的课题。本文通过对网络信息检索的基本原理、网络信息检索的技术及工具、网络信息检索的现状等方面进行分析研究，并对网络信息检索的发展趋势进行了预测，旨在寻找提高网络信息检索的手段和方法的有效途径，并最终提高网络信息的检索效果，使得网络信息资源得到充分有效地利用。
全文主要包括六个部分，
第一部分为网络信息检索述评，主要是阐述了网络信息检索所涉及到的有关概念，如信息检索技术、网络信息检索的特点及网络信息检索效果评价。
第二部分重点讨论了网络信息检索的基本技术。如信息推拉技术、数据挖掘技术、信息过滤技术、自然语言处理技术等等，旨在弄清网络信息检索的技术支撑，为预测网络信息检索的发展趋势作下铺垫。
第三部分对网络信息检索的重要工具——搜索引擎进行了阐述，主要从其检索机制入手，分析了不同种类的搜索引擎的检索特点及功能。其独到之处在于对搜索引擎的基本功能进行了比较全面的概括，并对目前流行的搜索引擎进行科学的分类...
第四部分分析讨论了检索技术的另一分支—基于内容的检索技术
第五部分则分析了网络信息搜索工具的局限，主要从文本信息检索和多媒体信息检索两方面进行阐述。
好不容易给转成 .txt文本，贴在下面：
1.1网络信息资源
网络信息资源是指“通过国际Intemet可以利用的各种信息资源”的总称。
随着Intemet的迅速发展，网上信息资源也以指数形式增加，网络信息资源作
为一种新型的信息资源，发挥着越来越重要的作用，其内容几乎无所不包，涉
及政治、经济、文化、科学、娱乐等各个方面;其媒体形式多种多样，包括文
本、图形、图像、声音、视频等;其范围覆盖社会科学、自然科学、人文科学
和工程技术等各个领域。
1.2信息检索技术
信息检索技术是现代信息社会中非常关键的技术之一。信息检索是指将信
息按一定的方式组织和存储起来，并根据信息用户的信息需求查找所需信息的
过程和技术，所以信息检索的全称又叫“信息存储与检索”。狭义的信息检索
仅指从信息集合中找出所需信息的过程，也就是利用信息系统检索工具查找所
需信息的过程。人们获取信息源的方式主要有:①遵循传统的检索方法在浩如
烟海的图书馆资料中，通过人工查找索引找到对应的文献索引号再获取文献原
文;②联机信息检索。这其中也存在一个发展过程，由检索结果来看，从提供
目录、文摘等相关的二次信息检索到可以直接获得电子版的全文;由检索方法
来看，从对特定关键词或者如作者、机构等辅助信息作为检索入口的常规检索
到以原始文献中任意词检索的全文检索等等。其中，全文检索由于其包含信息
的原始性、信息检索的彻底性、所用检索语言的自然性等特点在近年来发展比
较迅速，成为深受人们关注的一种非常有效的信息检索技术，它是从大容量文
档库中精确定位所需信息的最有效手段l3]。
.3.2web信息检索
其检索方式有:浏览器方式和搜索引擎方式。
(l)浏览器方式(Br，singsystelns)。只要能够进入hitemct就能够通过浏
览器，利用HTTP协议提供的WV乃万服务，浏览认触b页面和通过W匕b页面提
供的检索方式访问数据库。
(2)搜索引擎方式(SearehEngines)。搜索引擎是intemet提供公共信息检
索服务的W七b站点，它是以一定的技术和策略在intemet中搜集和发现网络信
息，并对网络信息进行理解、提取和处理，建立数据库，同时以认倪b形式提
供一个检索界面，供用户输入检索关键词、词组或短语等检索项，代替用户在
数据库中查找出与提问相匹配的记录，同时返回结果且按相关度排序输出，从
而起到快速查找信息的目的。搜索引擎所处理的信息资源主要包括万维网服务
器上的信息，另外还包括电子邮件和新闻组信息。搜索引擎服务的宗旨是为满
足用户的信息需要，所以它是面向用户的，采用的方式是交互式的。
网络信息检索工具采用主动提交或自动搜索两种方法搜索数据。
1.4网络信息检索效果评价
目前，得到普遍认同的检索效果的评价标准主要有以下几个:查全率、查
准率、收录范围、输出格式，其中以查全率和查准率最为重要。
现代信息科学技术的发展，为人们提供了多种多样的信息获取和传送方法
及技术，从“信源”与“用户”的关系来看，可分为两种模式:“信息推送”
模式(InformationPush)，由“信源”主动将信息推送给“用户”，如电台广播;
“信息拉取”模式(InformationPull)，由“用户”主动从“信源”中拉取信息，
如查询数据库。
2.2.1信息推送技术
“推”模式网络信息服务，是基于网络环境下的一种新的服务形式，即信
息服务者在网上利用“Push”技术为特定用户开展信息服务的方式。Push技术
之所以成为Intemet上一项新兴的技术，是因为借助该技术使网络信息服务具
有主动性，不仅可以直接把用户感兴趣的信息推送给用户，而且可有效地利用
网络资源，提高网络吞吐率;再者，Push技术还允许用户与提供信息的服务器
之间透明地进行通信，极大地方便了用户。
所谓Push技术，又称“推送”技术、Web广播(Webeasting)技术，实质
上是一种软件，这种软件可以根据用户定义的准则，自动搜集用户最可能发生
兴趣的信息，然后在适当的时候，将其传递至用户指定的“地点”。因而从技
术上看，“推”模式网络信息服务就是具有一定智能性的、可以自动提供信息
服务的一组计算机软件，该软件不仅能够了解、发现用户的兴趣(可能关心的
某些主题的信息)，还能够主动从网上搜寻信息，并经过筛选、分类、排序，
然后按照每个用户的特定要求，主动推送给用户141。
(l)信息推送方式。信息推送方式分两类，即网播方式和智能方式。
网播方式有:频道式推送。频道式网播技术是目前普遍采用的一种模式，
它将某些页面定义为浏览器中的频道，用户可像选择电视频道那样接受有兴趣
的网播信息;邮件式推送，用电子邮件方式主动将所推送信息发布给各用户，
如国际会议的通知、产品的广告等:网页式推送。在一个特定网页内将所推送
信息发布给各用户，如某企业、某组织、某个人的网页;专用式推送。采用专
门的信息发送和接收软件，信源将信息推送给专门用户，如机密的点对点通信。
智能推送方式有:操作式推送(客户推送式)，由客户数据操作启动信息
推送。当某客户对数据进行操作时，把修改后的新数据存入数据库后，即启动
信息推送过程，将新数据推送给其他客户;触发式推送(服务器推送式)，由
ll硕士学位论文
MASTER，5THESIS⑧
数据库中的触发器启动信息推送过程，将新数据推送给其他客户，当数据发生
变化，如出现增加(Insert)、删除(Delete)、修改(update)操作时，触发器
启动信息推送过程。
(2)信息推送的特征。信息推送的特征有:主动性、针对性、智能性、高效
性·灵活性和综合性I5]。
主动性。Push技术的核心就是服务方不需要客户方的及时请求而主动地将
数据传送到客户方。因而，主动性是“推”模式网络信息服务最基本特征之一。
这也是它与基于浏览器的“拉”(Pull)模式的被动服务的鲜明对比。
针对性(个性化)。针对性是说，Push技术可以针对用户的特定信息需求
进行检索、加工和推送，并根据用户的特定信息需求为其提供个人定制的检索
界面。
智能性。Push服务器能够根据用户的要求自动搜集用户感兴趣的信息并定
期推送给用户。甚至，Push技术中的“客户代理(ClientAgent)”可以定期自
动对预定站点进行搜索，收集更新信息送回用户。同时个人信息服务代理和主
题搜索代理还可为了提高“推送”的准确性，控制搜索的深度，过滤掉不必要
的信息，将认飞b站点的资源列表及其更新状态配以客户代理完成。因而，网
络环境下的“推”模式信息服务具有较高的智能性。这也是传统的定题服务
(SDI)不能比的。
高效性。高效性是网络环境下“推”模式信息服务的又一个重要特征。Push
技术的应用可在网络空闲时启动，有效地利用网络带宽，比较适合传送大数据
量的多媒体信息。
灵活性。灵活性是指用户可以完全根据自己的方便和需要，灵活地设置连
接时间，通过E一mail、对话框、音频、视频等方式获取网上特定信息资源。
综合性。“推”模式网络信息服务的实现，不仅需要信息技术设备，而且
还依赖于搜寻软件、分类标引软件等多种技术的综合[6]。
但在当前信息技术的发展阶段，“推”技术还存在很大的缺陷，比如:不
能确保信息发送，没有状态跟踪，缺乏群组管理功能等等。因此，国内外的研
究者们又提出超级推(BeyondPush)技术的理论。所谓超级推技术是在保留、继
承、完善了Push的优点(主动传递和个性化定制)，摒弃了Push的诸多缺点之
!2硕士学位论文
MASTER，5THESIS管
后而发展起来的一种新型的Push技术。它的最大特点是在于保证传送。即所
有的信息都是在特定的时间送给特定的信息用户，同时保持连续性的用户资
料，随时可以知道谁收到了信息，信息是否为该用户定制，用户环境是否适当
等等[刀。
2.2.2信息拉取技术
常用的、典型的信息拉取技术，如数据库查询，是由用户主动查询数据库，
从数据库中拉取所需信息。其主要优点是:针对性好，用户可针对自己的需求
有目的地去查询、搜索所需的信息。
Intemet上的信息拉取技术可以说是数据库查询技术的扩展和延伸。在网
络上，用户面对的不止是一个数据库，而是拥有海量信息的hitemet环境，因
此，各种网络信息拉取(查询)的辅助工具—搜索引擎应运而生了。信息推送与信息拉取两种模式各有其特点，在实际中常常是将两者的结合
起来，常用的结合方式为:
(1)“先推后拉”式。先及时地推送最新信息(更新的动态信息)，再有针
对性地拉取所需的信息。这样，便于用户注意信息变化的新情况和趋势，从而
动态地选取需要深入了解的信息。
(2)“先拉后推”式。用户先拉取所需信息，然后根据用户的兴趣，再有针
对性地推送相关的其它信息。
(3)“推中有拉”式。在信息推送过程中，允许用户随时中断、定格在所感
兴趣的网页上，作进一步的搜索，主动拉取更丰富的信息。
(4)“拉中有推”式。在用户拉取信息的搜索过程中，根据用户输入的关键
词，信源主动推送相关信息和最新信息。这样既可以及时地、有针对性时为用
户服务，又可以减轻网络的负担，并便于扩大用户范围[8]。
因此，信息推送与信息拉取相结合是当前Intemet、数据库系统及其它信
息系统为用户提供主动信息服务的一个发展方向。
2.3Web挖掘技术
随着功temet的发展，W己b已经成为人类社会的公共信息源。在hitemet
给人类带来前所未有的信息机遇的同时，又使得人类的信息环境更加复杂，人硕士学位论文
MASTER，5THESIS⑧
类如何利用信息的问题非但没有如预想的通过信息技术的发展得到圆满的解
决，相反，随着信息技术的发展，信息量的激增，造成了个人实际所需信息量
与研触b上的海量信息之间的矛盾，因而也就造成了个人利用信息的困难。在
这种情况下，虽然出现了叭范b环境下的专门检索工具，但是由于搜索引擎是
由传统检索技术发展而来，在当前用户要求不断提高的情况下，传统的搜索技
术己经不能够满足人们的需要。为了更加有效地利用网络信息资源，W七b挖掘
作为新的知识挖掘的手段，为Web信息的利用提出了新的解决方案叨。
2.3，1姗eb挖掘的内容
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，
提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
Web挖掘则是从WWW及其相关的资源和行为中抽取有用的模式和隐含信息。其
中WWW及其相关资源是指存在于WWW之上的Web文档及Web服务器上的日志文
件以及用户资料，从Web挖掘的概念中应当看出Web挖掘在本质上是一种知识
发现的手段，它主要从下面3个方面进行仁’时。
(1)Web内容挖掘。W七b内容挖掘是从W匕b数据中抽取知识，以实现Web
资源的自动检索，提高web数据的利用效率。随着Intemet的进一步延伸，Web
数据越来越庞大，种类越来越繁多，数据的形式既有文本数据信息，也有图像、
声音、视频等多媒体数据信息，既有来自于数据库的结构化数据，也有用HTML
标记的半结构化数据及非结构化的自由文本数据信息。因而，对W己b内容信
息挖掘主要从下面两个角度进行〔”]。
一是从信息检索的角度，主要研究如何处理文本格式和超级链接文档，这
些数据是非结构化或半结构化的。处理非结构化数据时，一般采用词集方法，
用一组组词条来表示非结构化的文本，先用信息评价技术对文本进行预处理，
然后采取相应的模型进行表示。另外，还可以用最大字序列长度、划分段落、
概念分类、机器学习和自然语言统计等方法来表示文本。处理半结构化数据时，
可以利用一些相关算法给超级链接分类，寻求认七b页面关系，抽取规则。同
处理非结构化数据相比，由于半结构化数据增加了HTM毛标记信息及Web文
档内部超链结构，使得表示半结构化数据的方法更加丰富。
二是从数据库的角度，主要处理结构化的W匕b数据库，也就是超级链接
14⑧蕊誉蕊
文档，数据多采用带权图或者对象嵌入模型(OME)，或者关系数据库表示，
应用一定的算法，寻找出网站页面之间的内在联系，其主要目的是推导出Web
站点结构或者把W匕b变成一个数据库，以便进行更好的信息管理和查询。数
据库管理一般分成三个方面:一是模型化，研究认触b上的高级查询语言，使
其不局限于关键字查询;二是信息的集成与抽取，把每个W七b站点及其包装
程序看成是一个认范b数据源，通过W七b数据仓库(data~house)或虚拟W七b数据库实现多种数据来源的集成;三是叭几b站点的创建与重构，通过研
究web上的查询语言来实现建立并维护web站点的途径[’“]。
(2)札b结构挖掘。W匕b结构挖掘，主要指的是通过对W七b文档的分析，从
文档之间的组织结构获取有用的模式。W匕b内容挖掘研究的是文档内的关系，
W七b结构挖掘关注的则是网站中的超级链接结构之间的关系，找到隐藏在一个
个页面之后的链接结构模型，可以用这个模型对W七b页面重新分类，也可以
用于寻找相似的网站。
W七b结构挖掘处理的数据类型为W七b结构化的数据。结构化数据是描述
网页内容组织方式的数据，页内结构可以用超文本标记语言等表示成树型结
构，此外页间结构还可以用连接不同网页的超链结构表示。文档间的链接反映
了文档信息间的某种联系，如隶属平行关系、引用与被引用关系等。对W七b
页面的超级链接进行分类，可以判断与识别页面信息间的属性关系。由于Web
页面内部存在或多或少的结构信息，通过研究W亡b页面内部结构，可寻找出
与用户选定的页面集合信息相关的其它页面信息模式，以检测W己b站点所展
示的信息完整程度。
③Web行为挖掘。所谓W己b用户行为挖掘主要是通过对认尼b服务器的日
志文件以及用户信息的分析，从而获得有关用户的有用模式。W七b行为挖掘的
数据信息主要指网络日志中包括的用户行为模式，它包括检索时间、检索词、
检索路径、检索结果以及对哪些检索结果进行了浏览。由于W七b自身的异质、
分布、动态、无统一结构等特点，使得在认七b网上进行内容挖掘比较困难，
它需要在人工智能和自然语言理解等方面有所突破。所幸的是基于W七b服务
器的109日志存在着完整的结构，当信息用户访问web站点时，与访问相关的
页面、时间、用户ro等信息，日志中都作了相应的记录，因而对其进行信息
l5硕士学位论文
MASTER，5THESIS⑥
挖掘是可行的，也是有意义的。在技术实践过程中，一般先把日志中的数据映
射成诸种关系信息，并对其进行预处理，包括清除与挖掘不相关的信息等。为
了提高性能，目前对109日志数据信息挖掘采用的方法有路径分析、关联规则、
模式发现、聚类分析等。为了提高精确度，行为挖掘也应用到站点结构信息和
页面内容信息等方面。
2.3.2web挖掘技术在网络信息检索中的应用
(l)Web内容挖掘在检索中的应用。W匕b内容挖掘是指从文档内容及其描述
中获取知识的过程，由于用传统的信息检索技术对W己b文档的处理不够深入，
因此，可以利用叭触b内容挖掘技术来对网络信息检索中的W己b文档处理部分
进行进一步的完善，具体而言表现在以下几个方面。
①文本总结技术。文本总结技术是指从文档中抽取出关键信息，然后以简
洁的形式对W匕b文档的信息进行摘要或表示。这样用户通过浏览这些关键信
息，就可以对W七b网页的信息有大致的了解，决定其相关性并对其进行取舍。
②文本分类技术。W匕b内容挖掘中的文本分类指的是按照预先定义的主题
类别，利用计算机自动为文档集合中的每一个文档进行分类。分类在网络信息
检索中的价值在于可以缩小检索范围，大大提高查准率。目前，己经出现了很
多文本分类技术，如TFIFF算法等，由于文本挖掘与搜索引擎所处理的文本几
乎完全一样，所以可以直接将文本分类技术应用于搜索引擎的自动分类之中，
通过对大量页面自动、快速、有效的分类，来提高文档检索的查准率。
③文本聚类技术。文本聚类与文本分类的过程J险洽相反，文本聚类指的是
将文档集合中的文档分为更小的簇，要求同一簇内的文档之间的相似性尽可能
大，而簇与簇之间的关系尽可能小，这些簇相当于分类表中的类目。文本聚类
技术不需要预先定义好的主题类别，从而使得搜索引擎的类目能够与所收集的
信息相适应。文本聚类技术与人工分类相比，它的分类更加迅速、客观。同时，
文本聚类可与文本分类技术相结合，使得信息处理更加方便。可以对检索结果
进行分类，并将相似的结果集中在一起。
(2)Web结构挖掘在网络信息检索中的应用。W匕b的信息组织方式采用了一
种非平面结构，一般来说W己b的信息组织方式是根据内容来进行组织的。但
是由于W匕b的这些结构信息比较难以处理，所以搜索引擎一般不处理这些信
16硕士学位论文
MASTER，S竹正515⑧
息，而是将叭触b页面作为平面机构的文本进行处理。但是，在从触b结构挖掘
中，通过对研触b文档组织结构的挖掘，搜索引擎可以进一步扩展搜索引擎的
检索能力，改善检索效果〔’3]。
(3)脆b行为挖掘在网络信息检索中的应用。认触b行为挖掘是一种通过挖掘
总结出用户的检索行为的模式。用户的检索行为一直是信息检索中重要的研究
内容，通过研触b行为挖掘，不仅可以发现多数用户潜在共同的行为模式，而
且还可以发现单个用户的个性化行为，对这些模式进行研究，可以更好地对搜
索引擎的检索效果进行反馈，以便进一步改进搜索策略，提高检索效果。
2.3.3web挖掘技术的局限及方向
(1)孔b内容挖掘。W七b上的数据不管是用HTML还是XML标记语言表示，
都不能完全解决W七b数据的非结构性问题，特别是汉语句子格式繁多，虚词、
实词没有绝对的界限，切分词难度大，这些是造成无法对数据进行完全自动标
引的根本性问题，因此，从七b内容挖掘技术有必要结合数据仓库等信息技术进
行信息存储，并最终实现智能化、自动化的数据表示和标引，以供搜索之用。
通常数据的表示和数据的利用形式是相互关联的，因此，设计相应的具有高查
全率和查准率的挖掘算法也和数据表示一样是未来的方向之一。另外多媒体数
据如何进行识别分类标引，这也是未来的研几b内容挖掘研究的难点和方向。
(2)梅b结构数据挖掘。随着Intemet的迅猛发展，网站的内容也越来越丰
富，结构也越来越庞杂，用有向图表示巨型网站链接结构将不能满足数据处理
的需要，需要设计新的数据结构来表示网站结构。
由于用来作对比分析发现问题所在的用户使用信息只有日志流，那么，对
用户使用日志流中每一链接关系如何识别、采用什么结构表示、如何抽取有用
的模式等等，不仅是认飞b行为挖掘的重要研究内容也是网站结构挖掘的重要
研究方向之一。
(3)，eb用户行为挖掘。由于Iniemet传输协议HTTP的无状态性，客户端、
代理服务器端缓存的存在，使用户访问日志分别存在于服务器、代理服务器和
客户端，因此，从W七b用户访问日志中研究用户访问规律最大的难点在于如
何把分布于不同位置的访问日志经过预处理，形成一个个用户一次的访问期
间。通常来讲，对于静态W七b网站，服务器端的日志容易取得，客户端和代
l7理服务器用户访问日志不容易取得;其次，由于一个完整的W匕b是由一个个
图片和框架页面组成的，而用户访问服务器也有并发性，在确定用户访问内容
时，必须从服务器日志中甄选出某个用户实际请求的页面和页面的主要内容。
另外，由于目前已经有的数据挖掘算法主要是在大量交易数据基础上发展起来
的，在处理海量Web用户访问日志中也需要重新设计算法结构〔’41。
2.4信息过滤技术
hitemet开放式的环境，为人们检索和利用信息提供了极大的方便，但同
时，网络环境也为人们及时准确地检索到所需信息带来了麻烦。这是因为，第
一，网络环境中信息的来源复杂多样，随意性大，任何人、任何单位不管其背
景和动机如何都可以在网络上发布信息，信息的产生和传播没有经过筛选和审
定，因此信息的可靠性、质量和价值成为用户普遍担心的一大问题;第二，目
前大多数据搜索工具的检索范围是综合性的，它们的Robots尽可能地把各种
网页抓回来，经过简单加工后存放在数据库中备检;第三，搜索引擎直接提供
给用户的检索途径大都是基于关键词的布尔逻辑匹配，返回给用户的就是所有
包括关键词的文献，这样的检索结果在数量上远远超出了用户的吸收和使用能
力，让人感到束手无策。这就是人们经常谈论的“信息过载”、“信息超载”现
象。信息过滤技术就是在这样的背景下开始受到人们的重视，它的目的就是让
搜索引擎具有更多的“智力”，让搜索引擎能够更加深入、更加细致地参与到
用户的整个检索过程中，从关键词的选择、检索范围的确定到检索结果的精炼，
帮助用户在浩如烟海的信息中找到和需求真正相关的资料。
2.4.1信息过滤模型
信息过滤其实质仍是一种信息检索技术，因此它仍依托于某一信息检索模
型，不同的检索模型有不同的过滤方法。51。
(1)利用布尔逻辑模型进行过滤。布尔模型是一种简单的检索模型。在检索
中，它以文献中是否包含关键词来作为取舍标准，因此，它不需要对网页数据
进行深度的加工。最简单的关键词表可以设计成只有三个字段:关键词、包括
关键词的文献号、关键词在相应文献中出现的次数。检索时，用户提交关键词
……………………………………
太长 发不全 希望对你有用 实在不行联系我（给我留言）我发给你邮箱。
高校文献信息检索的必要性与有效方法论文
在学习、工作中，大家总免不了要接触或使用论文吧，论文可以推广经验，交流认识。如何写一篇有思想、有文采的论文呢？以下是我收集整理的高校文献信息检索的必要性与有效方法论文，希望能够帮助到大家。
摘要： 随着互联网信息、知识的不断更新，文献信息检索能力已经成为高校师生信息素养的重要内容，也是提高大学生学习能力和教师科研的重要手段，成为继续学习的重要工具。通过探讨文献信息检索的科学定义及高校信息检索的必要性，进而从文献信息检索流程角度提出高校文献信息检索的途径和策略。
关键词： 文献；信息检索；策略；
文献信息是巨大的社会财富，它伴随着社会的广泛进步而迅速更新和积累，在带给我们越来越便捷的同时，也必然给阅读、查找和充分利用信息带来一定困难。为解决庞大的科学文献和个人特定需求之间的矛盾，便产生了文献信息检索，文献信息的检索和利用已经发展成为一门专门的学科，高校信息检索能力已经成为高校师生信息素养的重要内容，也是提高大学生学习能力和教师科研的重要手段。
一、文献信息检索定义
“信息检索（Information Retrieval）”一词最早出现在20世纪50年代，有广义和狭义之分。
广义的信息检索是指将信息按一定的方式组织和存储起来，并根据信息用户的需要找出有关信息的过程和技术。也就是说，信息检索包括两个环节和内容：“存”和“取”。狭义的信息检索则专指信息检索过程中的第二个环节，即从信息集合中找出所需要信息的过程，也就是我们常说的信息检索、信息查找或信息搜索等术语。
信息检索按照检索对象的不同又可以分为文献检索、数据检索、事实检索。本文侧重于文献检索，即通过检索文献来获取所需要的信息、知识、情报[1]。
二、高校文献信息检索的必要性
（一）信息的多元化需要师生具备一定的信息评价和筛选能力
在当今互联网、信息化社会，人们无时无刻不在利用信息资源进行生产、生活和创新创造。但面对浩瀚的信息海洋，信息流和信息量越来越多、越来越大，人们进行检索和利用的困难也就越来越大。随着4G网络的覆盖和智能手机的普及，人们轻而易举就能接触各种各样的信息，各类门户网站、微博、微信、QQ等推送信息的常态化，一方面丰富了我们的日常生活，拓宽了我们的视野；另一方面也给我们对于浩瀚无垠的信息的过滤、评价、筛选和运用带来极大的挑战[2]。在纷繁复杂的信息洪流中，哪些是对我们有益的，哪些会给我们带来负面的影响，都要求我们具备一定的信息鉴别和评价的能力，需要我们具备较高的信息素养和信息处理能力。文献信息检索能力成为高校师生应掌握的基本学习技能之一，是继续学习的重要手段，在教学、学习、科研和生活方面发挥巨大作用。
（二）学校对学生的信息素养教育重视程度不够
早在20世纪70年代，联合国教科文组织就对“文盲”下了新的定义：在当今科学技术飞速发展的时代，文盲已不是不识字的人，而是不知道如何获取知识的人。我国国家教委要求，全国各大院校要全面普及开设文献信息检索课，这对大学生普及文献检索知识、提高信息素养、增强信息检索的兴趣、提高信息检索能力都具有十分重要的现实意义[3]。然而现状却是，全国各大高校开设的信息检索课程大部分是以选修课的形式存在，学生自愿选择，主要目的也就是为了修够学分，以这样的方式开展信息教育并不能取得理想的效果，这种重专业、轻信息素养的教育还普遍客观存在。
（三）信息检索助力高校科学研究
科学研究是高等学校重要职能之一，大学对整个社会的科技进步与发展起着重要引领与推动作用。现代科学技术的迅猛发展，各个学科的交叉和渗透一方面促使了新的学科不断涌现，源源不断地出现大量新的知识；另一方面，知识的老化和被淘汰的速度也会越来越快。作为高校科研人员，必须具备一定的信息素养，即敏锐的信息意识、发现高质量信息的能力、信息的选择和评价的能力以及如何正确地引用文献、尊重他人知识产权的能力。作为科学研究者，必须时时了解学科最前沿的动态，掌握最新的知识，这样才能研究出有价值的科研成果，而文献信息检索能力就是科学研究人员必不可少的要素之一。为了减少课题的重复研究，提高研究的成功率，科研人员在研究一项课题之前，必须要进行的相关的资料收集和文献检索。在确定选题之后同样要科学合理运用文献信息检索方法开展文献信息甄别筛选和运用，进行进一步研究，保障研究成果的承续性，进而推动科学研究向纵深发展。
三、高校文献信息检索的策略
（一）分析检索问题
在解决一个问题之前，我们首先要做的就是分析问题，对问题的分析是解决问题的关键所在。分析一个问题我们可以从如下几个方面考虑：首先，提问者是谁。同样一个问题，教师跟学生对内容的层次要求就不同；一个专业性的问题，高校专业教师和学生对问题的要求也会不同。其次，问题的性质。不同的问题对应不同的要求，如果我们对一个概念需要界定，或者需要查找与自己所撰写文章密切相关的文献，这时对概念的界定和对文献的检索就需要“准”。如果我们要做一个论文的选题的确定或者做一个项目的申报、企业新产品的开发，在做这些工作之前，我们需要对前人的研究成果做一个全面的普查，这类型的问题的要求就是“全”。再如，我们要了解某个领域的趋势前沿和最新进展，对这类问题的要求就是查找的资料必须要有新颖性，即“新”。再有，对一些技术性强的问题，如专利的申报、企业新产品的开发、某一项技术的引进等，对这类问题的检索要求是“细”。再次，学科和主题。如果只是单一的某一个学科或主题，那么只需要找到收录这个学科资源的数据库进行检索就可以。但是有很多跨学科领域研究的问题如果只是在一个数据库查找，就会造成资源的不全面。第四，资源类型。我们熟知的资源类型有学位论文、会议论文、期刊论文、图书、专利、标准等等，不同的资源类型收录的特点也不同，如内容的深度、系统性、时效性都不同，研究课题不同，对资源类型的要求也不同。第五，资源的范围。查找资料的时候往往对范围进行限定，范围包括时间范围、地域范围、语种范围等。
（二）选择合适的检索工具
分析检索问题之后，我们需要选择合适的检索工具。常用的检索工具有搜索引擎和商业数据库。搜索引擎它具有检索过程不收费、面向所有的终端用户、对用户检索水平要求较低等特点，常用的搜索引擎有谷歌、百度、搜狗、必应等。商业性数据库的特点有：第一，检索需要收费或者授权，高等学校一般都与相关商业数据库合作，校园网环境下一些商业数据库是可以免费使用的。第二，它们的功能和收录资源的范围有明确的定位，如只能检索专利信息的德温特专利创新索引、只能检索学位论文的ProQuest Digital Dissertations数据库、只能检索会议论文的CPCI、只收录世界上顶尖期刊论文的Web Of Sicence的三大引文索引数据库等。第三，这些数据库都有自己的一套检索技术，因此对用户的检索水平要求较高。除了上述的专业性数据库之外，还有一些因经常使用被我们熟知的综合性数据库，如中国知网、维普、万方等。
除了搜索引擎和商业数据库之外，还有一些其他可以免费获取资源的途径，如主题指南（导航）、数字图书馆、政府的网站（数据库）、电子预印本、博客、微博、机构知识库等途径。因此，我们只有熟知各个不同的检索工具以及它们的特色才能检索到不同的文献类型。 高校师生要立足本职工作和学习需要选取适合的文献信息检索工具，助力科学研究、日常教学和学习生活。
（三）抽取恰当的关键词
选取科学适当的检索工具后，下一步工作就是确定检索关键词。
首先，要确定研究问题有哪些核心关键词（Core Keywords），抽取核心关键词可以依据汉语主题词表，如查询表述具体事物名称的名词术语、事物的状态或现象的名词术语、科学分类的名词术语、研究方法、技术方法的名词术语、工艺方法、加工技术的名词术语、化学元素、化合物、金属材料与合金的名词术语、国家名称、地名、组织机构名称以及文献类型、文献载体的名词术语等。其次，为了保证查全率和查准率，应当注意这些核心关键词有无其他的表述方式，如同义词、近义词、与之相关的词、有无缩写形式或者全称形式、有无相关的组织机构、英文的单数复数形式等，如果有，分别检索。第三，避免用太泛的关键词，应选用专指性很强的关键词。例如，我们要检索计算机软件有关的视频资料，如果我们只输入“计算机操作视频”这样类似的检索式，当然也可以找到一些检索结果，但缺乏针对性。我们不妨直接明确输出我们要学习的.软件的名称，如“Powerpoint 视频”，这样检索出的结果的相关性就要高很多。第四，学会利用专业术语。不同的学科，他们的专业术语表述不同，如信息检索、克隆人、电子图书等都属于专业术语，对这些专业术语进行检索的时候，尽可能加上双引号进行精确检索，可以提高检索结果的相关度和准确度。
（四）构造检索式
确定几组关键词后，下一步工作就是要构造检索式。即要用一定的运算符号将这些关键词连接起来，形成具有一定意义的表达式，也叫检索提问表达式。构造检索式具有一定的专业性，这就需要依托信息检索课和上机课来实现，重点指导学生如何正确构造检索式。构造检索式，可以从以下几个方面考虑：首先要明确检索词之间的逻辑关系，用布尔逻辑运算符AND、OR、NOT将它们连接起来；然后需要考虑检索词之间的位置是否需要进行限定，如果需要则根据不同的检索工具使用一定的检索手段对检索词的位置进行限定；对于一些专有名词，是否需要作精确检索，如果需要则给检索词加上双引号；为了使检索结果更加精准，我们还需要把检索限制在某一个范围当中，比如限制在某个字段，语种、出版年、摘要、题名等不同的字段作一个限定，还有其他的各种限定，如文献类型、机构的域名的类型等等。当然，不同的检索工具可能有自己特有的语法用法，我们应当学会灵活应用和变通不同的检索方法和技巧。
（五）筛选检索结果
通过选取关键词、构造检索式进行检索后，会得到众多检索结果，但在众多的检索结果当中，并不是每一条都是我们所需要的，所以我们要对检索结果作一些筛选。首先，依据结果的相关度，我们得到的检索结果是否与我们要检索内容的主题相关，是否与我们所需要的信息内容的层次、深浅度相匹配；其次，要看作者，即要看作者的权威性和影响力，这直接影响到我们检索到的文献信息的质量，对于一些没有显示作者的网站来说就缺乏一定的严谨性；再次，要看检索结果的时效性，往往最新的观点、新的理论、新的解决方案都来源于最新发表的文献信息。另外，要合理判断检索信息的公正性、准确性，避免使用错误的、缺乏科学论证的文献资料，等等。
（六）调整检索策略
经过前面的检索步骤得出的检索结果当中，如果还是没有理想的检索结果，就需要调整检索策略。首先，当检索结果太少的时候，则需要扩大检索范围。比如看检索词是否有近义词、同义词、上位词，将这些检索词用布尔逻辑语OR来连接，可以很好的扩大检索范围。再如，利用宽容的检索方法检索，像英文单词中经常会有一部分相同的部分，那些可变换的部分就可以用截词检索代替。还有英文名词的单复数形式，如果我们要找“女性”的相关资料，只输入“woman”检索就会漏检很多，还应该对它的复数形式“women”也进行检索。还比如英文的缩写形式，比如我们要找“慕课”相关的文献，如果我们只是输入“慕课”就可能会漏掉相关重要信息，我们还应该用它的缩写形式去检索，输入“MOOC”或者它的英文全称“Massive Open Online Courses”，这样分别去检索才不会遗漏掉重要文献资料。如果是因为我们的限制太多导致检索结果太少，那么可以考虑去掉一两个限制。因为每一个检索工具收录的范围和内容有一定的侧重点和有限性，所以我们也可以考虑更换不同的检索工具进行检索。其次，当检索结果太多的时候，我们也应该采取一定的措施缩小检索范围。例如用布尔逻辑运算符AND和NOT连接检索词，用AND多加几个检索词进行限定，或者用NOT排除一些限定；使用检索词的下位词进行检索；对一些专有名称，专业术语加上引号进行精确检索也可以缩小检索范围，从而实现更精确地检索；对检索词加上一定的限制，如对它的时间、机构、网站、文献格式等进行一个限制；除此之外，我们还可以利用检索工具本身所具备的二次检索功能来筛选检索结果，从而缩小检索结果。
（七）求助专业人士
如果通过上述途径仍然不能取得理想的文献信息资料，我们可以通过一些掌握现代技术的、具有丰富科学研究经验的专业人士来获取我们想要的文献信息。例如，有很多图书馆的网站主页上都会有在线咨询的功能，我们可以通过在线咨询的服务功能从图书馆员那里获取文献信息资料。很多图书馆都开通了馆际互借的功能，通过馆际互借，我们可以共享很多成员馆的文献信息资源，而这些庞大且宝贵的文献信息资源经常会被老师们和学生们忽略掉。再如，我们还可以求助一些在线的问题回答类的网站，像百度知道、知乎等，还有国外比较权威的网站像AIIExperts等，通过询问这些网站上的一些权威专家，也可以为我们的学习和研究提供宝贵的意见。
总之，互联网是一个非常开放的空间，如果善于应用，我们不仅可以贡献自己的经验和智慧来为他人服务，我们也可以共享他人的智慧来为我们自己的研究和学习服务。
四、结语
信息检索的最终目的是通过解决各种各样的问题，进而提高学习和科学研究能力。正如美国文献家赫伯特所言：“知识的一半，是知道到哪里去寻找它。明日的文盲，不是不能阅读的人，而是缺乏检索能力的人。”互联网时代文献信息检索能力比文献信息本身更重要。来自美国的非盈利性机构“今日信息科学网站”的一份报告“Information Literacy A Skill for Life”也在呼吁互联网时代新的技能，即媒体与信息素养。由此看来，信息素养的培养不光适用于高校信息素养教育，同时也具有世界性的重要意义。文献信息知识伴随着社会的发展而迅速更新和积累，高校应强化对信息检索的指导，提高信息检索能力，助力高校教学和科学研究。
五、参考文献
[1]陈振标.文献信息检索、分析与应用[M].北京:海洋出版社,2016:19.
[2]陆和建,姜丰伟.新信息环境下高校信息检索课教学方式的优化策略[J].大学图书馆学报,2015(2):96—99,112.
[3]万爱群,杨红.浅谈开设《信息检索与利用》课程的必要性[J].广西质量监督导报,2007(6):105—118.
