智能信息检索论文

信息检索技术论文 –基于网格的面向专业内容的Web信息检索1 引言近年来，互联网得到了迅速的发展，网上信息资源愈来愈庞大，且信息具有量大、分散、异构等特性，因此，传统的Web信息检索工具开始暴露出它性能低下的一面，具体体现在现有的信息检索工具对用户的要求常常是找出了几千甚至上万条记录，根本无法从中再细找，或者找到的内容和要找的内容不是一个专业领域的，造成信息无效的现象。但随着人们信息意识的增强，对信息内容及信息服务的需求也在不断的演变和发展，对获取信息的专业化、实效性等方面有了新的要求。如何针对专业领域中特定的用户群为他们提供专业的、度身量造的信息服务，使用户在尽可能短的时间内有效的找到最需要的信息内容是大家普遍关注的一个问题。本文利用网格计算、集群系统、XML等技术设计了一个基于网格的面向专业内容的Web信息检索体系结构，它能将地理位置分散的、异构的信息按地区按专业内容从逻辑上进行合理的组织和管理，为用户快速、有效地获取自己所需要的信息提供了一种方法。2 基于网格的面向专业内容的Web信息检索体系结构的设计 网格计算是近年来国际上兴起的一种重要信息技术，其目的是将网上各种资源组织在一个统一的大框架下，为解决大型复杂计算、数据服务和各种网络信息服务提供一个方便用户使用的虚拟平台，实现互联网上所有资源的全面连通，实现信息资源的全面共享。 为解决不同领域复杂科学计算与海量信息服务问题，人们以网络互连为基础构造了不同的网格，他们在体系结构，要解决的问题类型等方面各不相同，但网格计算至少需要具有三种基本功能：资源管理、任务管理、任务调度。本文设计的信息检索体系结构，围绕网格计算的基本功能及信息检索的特点，主要有以下三个层次组成：见图1（1） 网格结点：结点是网格计算资源的提供者，本系统主要是由一系列的集群系统组成，它们在地理位置上是分布的，构成了一个分布检索群体，作为信息共享的基础结构平台。集群系统负责整个集群范围内的信息管理，维护和查询。（2） 网格计算中间件：中间件是信息资源管理和用户任务调度、任务管理的工具。它是整个网格信息资源管理的核心部分，它根据用户的信息请求任务，在整个网格内负责信息资源的匹配、定位，实现用户任务到集群系统的映射。（3） 网格用户层：主要为用户应用提供接口，支持用户对所需要的信息资源进行描述、创建、提交等。 图1本系统的主要思想是在逻辑上将地理位置分散的、异构的信息划分、组建成多个集群系统，集群系统对集群内的资源进行管理和任务调度，再利用网格中间件对各集群系统进行管理，从而形成对整个网格资源的管理，并对用户的信息需求进行统一的管理和调度。这种管理模型既可以尊重各个集群系统的本地信息管理策略，又可利用中间件在全局意义上对网格信息资源进行管理。2.1 集群系统的设计由于Web信息资源数量十分庞大，用户在利用现有搜索引擎检索信息时面临一个海量数据的查询问题，往往造成在消耗巨大的通信资源后依然存在资源查不准、查不全的问题。目前基于单一系统映射的Web服务器集群系统能把若干服务器用局域网连接成一个整体，并使其从客户端看来就如同一台服务器在服务，这使得在逻辑上合并、组织地理位置分布的信息资源成为可能。因此本文首先考虑采用分布协作策略，将Web信息资源按地区按专业内容分割，一方面使信息资源数量相对缩小，便于数据的组织、管理和维护，另一方面按专业内容易于制定一个公用的XML规范，便于集群内各类信息资源的描述，从而可建立一个基于XML的面向专业内容的信息集成系统。集群系统的具体结构见图2。集群服务器主要由接口Agent，基于专业内容的XML信息集成系统、资源服务Agent、资源发布Agent等组成。其中接口Agent根据任务提供的接口参数登记、接收、管理各种信息资源请求任务，并提供安全认证和授权。资源服务Agent根据信息资源请求任务，利用XML信息集成系统提供的数据，为用户提供实际的资源检索操作，并将检索结果信息发送给用户。资源发布Agent用于向网格中间件提供本地信息资源的逻辑数据及接口参数。下面主要说明基于专业内容的XML信息集成系统的构造方法：XML（the eXtensible Markup Language）是 W3C于1998年宣布作为Internet上数据表示和数据交换的新标准，它是一种可以对信息进行自我描述的语言，它允许开发人员通过创建格式文件DTD（Document Type Definitions）定制标记来描述自己的数据，DTD规范是一个用来定义XML文件的语法、句法和数据结构的标准。 XML使用普通文本，因此具有跨平台的优点，XML的优点在于（1）简单、规范性：XML文档基于文本标签，有一套严谨而简洁的语法结构，便于计算机、用户理解；（2）可扩展性：用户可以自定义具有特定意义的标签，自定义的标签可以在任何组织、客户、应用之间共享；（3）自描述性：自描述性使其非常适用不同应用间的数据交换，而且这种交换是不以预先定义一组数据结构为前提，因此具有很强的开放性；（4）互操作性：XML可以把所有信息都存于文档中传输，而远程的应用程序又可以从中提取需要的信息。XML数据是不依赖于某个特定的平台的应用，因此它为基于特定专业内容的表达提供了一种极好的手段，可以作为表示专业内容的语言。目前人们研制Web信息集成系统其基本方法可分成两类：存入仓库法（the ware-housing approach）和虚拟法(the virtual approach)，可使用这两类方法利用XML在数据组织和交换方面的优越性，采用格式文件DTD和XML文档表示基于专业内容的集成模式和集成模式与资源之间的映射，建立基于XML的Web信息集成系统，其结构与获取信息的工作过程参见文献[2]。图22.2 网格中间件的设计图3所示的网格中间件的主要功能是（1）消除不同用户与集群系统之间数据表达的差异，使信息资源数据对用户来说是透明的；（2）管理、维护Web上分布的各集群系统，网格中间件以关系数据库方式记录所有集群系统及其所包含的专业内容的逻辑信息，对关系数据库的操作可维护集群系统的分布式逻辑，使本结构在可变性和扩充性上具有柔性；（3）接受用户的信息请求任务，能快速定位于满足要求的集群系统，通过对关系数据库的查询实现用户信息请求任务与集群系统的对应关系。内部主要功能模块说明如下：（1） 接收Agent模块：主要用于登记、接收、管理各种信息资源请求任务，并提供安全认证和授权。（2） 关系数据库及数据服务Agent：关系数据库记录了所有集群系统及其所包含的专业内容的逻辑信息。数据服务Agent提供集群系统对关系数据库的使用权限和对数据记录的增加、删除、检索和修改等操作。（3） 格式转换Agent模块：提供用户信息资源请求文档与各集群系统中文档的格式转换功能。由于XML是自定义的，各用户对同一数据有不同的表示方法（对信息资源描述存在差异）由于XML文档中这种格式差异体现在与之相关的DTD/Schema上，因此经过格式转换，可使信息资源的格式对用户是透明的。（4） XML文档分析Agent模块：提取格式转换后的XML文档中各个标签，通过查询网格中间件中的关系数据库，实现用户信息请求任务与集群系统的对应关系，并得到满足条件的集群系统的相关信息，获取各集群系统的接口参数。（5） 发送Agent模块：将转换过的信息资源请求XML文档发送到相应的集群系统中。其中Agent技术是解决分布式智能应用问题的关键技术，Agent是指能够自主地、连续地在一动态变化的、存在于其它系统中运行的、且不断于环境交互的实体。在系统中引入Agent可使系统具有人的特征，代表用户完成用户的任务，并能动态适应环境的变化更好地满足用户的需求，提高信息检索的能力。文秘杂烩网

现代信息检索方法的探讨要想充分利用这些浩如烟海的文献信息资源，必须借助各种各样的检索工具。同时，因特网信息资源的骤增及其异构性、动态性，不断给信息检索带来新的挑战。信息检索已成为现代社会信息化和各种应用的关键。如何更高层次的模拟、应用人脑的智能原理，从本质上变革信息资源检索方法，已成为现代化信息知识检索理论研究的热点。实践证明，将人工智能技术与信息技术结合，发挥人工智能的作用，是一条成功的经验。下面就知识检索与信息检索的关联和发展，作初步的探讨。一、布尔检索利用布尔逻辑算符进行检索词或代码的逻辑组配，是现代信息检索系统中最常用的一种方法。常用的布尔逻辑算符有三种，分别是逻辑或“OR”、逻辑与“AND”、逻辑非“NOT”。用这些逻辑算符将检索词组配构成检索提问式，计算机将根据提问式与系统中的记录进行匹配，当两者相符时则命中，并自动输出该文献记录。下面以“计算机”和“文献检索”两个词来解释三种逻辑算符的含义。①“计算机”AND“文献检索”，表示查找文献内容中既含有“计算机”又含有“文献检索”词的文献。②“计算机”OR“文献检索”，表示查找文献内容中含有“计算机”或含有“文献检索”以及两词都包含的文献。③“计算机”NOT“文献检索”，表示查找文献内容中含有“计算机”而不含有“文献检索”的那部分文献。检索中逻辑算符使用是最频繁的，对逻辑算符使用的技巧决定检索结果的满意程度。用布尔逻辑表达检索要求，除要掌握检索课题的相关因素外，还应在布尔算符对检索结果的影响方面引起注意。另外，对同一个布尔逻辑提问式来说，不同的运算次序会有不同的检索结果。布尔算符使用正确但不能达到应有检索效果的事情是很多的。二、信息检索信息检索起源于图书馆的参考咨询和文摘索引工作，从19世纪下半叶首先开始发展，至20世纪40年代，索引和检索已成为图书馆独立的工具和用户服务项目。信息检索通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。它是基于信息组织形式，如字符串、结构化数据库，应用信息处理方法，如排序数据查找、字符匹配，实现效率不高的检索。信息检索综合应用布尔检索方法和基于超链的检索技术，改进了基本检索功能，但缺点是对精确的提问不能给出精确的回答。从历史上看，信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。目前，信息检索已经发展到网络化和智能化的阶段。信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容；信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众，他们对信息检索从结果到方式提出了更高、更多样化的要求。适应网络化、智能化以及个性化的需要是目前信息检索技术发展的新趋势。三、知识检索知识检索的基本思想是，模拟扩展人类关于知识处理与利用的智能行为和认识思维方法，是充分利用在线图书馆和数字图书馆的文献信息资源的有利工具。例如：抽象思维方法，形象思维方法。知识检索具有明显的优势：①实现信息服务向知识服务的转化，向用户提供潜在内容知识，以及分析预测后的超前性领域成果或知识。②提供主动服务方式，自动优化用户需求，主动提供个性化检索。③面向用户，依据用户的需求及其变化，能灵活选择理想的检索策略和技术，并且将繁重的知识信息存取工作从用户移向了计算机。④综合应用各类知识和各种高效的智能技术，全面提高检索效率。知识检索是综合应用信息管理科学人工智能认知科学及语言学等多学科的先进理论与技术，基于知识和知识组织，融合知识处理和多媒体信息处理等多种方法与技术，充分表达和优化用户需求，能高效存取所有媒体类型的知识源，并能准确精选用户需要的结果。

四、智能检索智能检索利用分词词典、同义词典，同音词典改善检索效果，比如用户查询“计算机”，与“电脑”相关的信息也能检索出来；进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典，形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果，比如用户可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴。另外，智能检索还包括歧义信息和检索处理，如“苹果”，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。五、计算机信息检索随着1946年世界上第一台电子计算机问世，计算机技术逐步走进信息检索领域，并与信息检索理论紧密结合起来；脱机批量情报检索系统、联机实时睛报检索系统相继研制成功并商业化，20世纪60年代到80年代，在信息处理技术、通讯技术、计算机和数据库技术的推动下，信息检索在教育、军事和商业等各领域高速发展，得到了广泛的应用。DiMog国际联机情报检索系统是这一时期的信息检索领域的代表，至今仍是世界上最著名的系统之一。在单语言检索中，计算机检索系统利用网络蜘蛛进行网络信息的收集，然后利用自动标引技术对搜集的信息进行标引形成索引信息库。用户输入检索式后，计算机把检索式与数据库中索引项进行匹配，按索引式与标引项相关性大小降序输出检索结果。跨语言检索中，只要在检索过程中加入语言处理技术，就可以使一种语言与其他语言对应。信息检索是经济生活和科学研究的一个重要组成部分，尤其在今天这个飞速发展的信息时代，如何广泛、快速、准确地获取对自己有价值的信息，特别是如何借助电子化、网络化的手段去获取有价值的信息，直接影响到教学、科研等工作的成败。因此信息检索的方法和技能，越来越成为现代科技工作者和教师所必备的基本技能。目前，计算机信息检索已成为广大用户获取信息的主要方式，而且呈现出联机信息检索、光盘信息检索以及因特网信息检索多元并存的信息检索格局。如何快速、准确及有效地检索到所需信息，已成为日益突出的问题，那么，了解各信息检索系统的特点是实施信息检索最基本的前提。下面就其三种计算机信息检索系统作一介绍。1．联机信息检索系统。所谓联机信息检索，是指信息用户利用终端设备，通过国际通讯网络与世界上的信息检索系统，进行直接的人机对话，从检索系统的数据库中查找出用户所需信息的全过程。一个联机信息检索系统，通常由检索服务机构、国际通讯网络和终端组成。2．光盘信息检索系统。光盘信息检索系统是单机信息检索系统的一种，它解决了单机检索系统数据存储量少的缺点，是目前应用较为广泛的一种计算机信息检索系统。在信息检索领域应用的光盘主要是只读光盘。3．因特网信息检索。作为用户最多、影响最大的计算机网络，因特网堪称世界上资源最丰富的信息库和文档资料库，几乎能满足全球范围内对任何信息的需求。因特网信息检索系统一般由计算机服务器、通信网络、通信协议。网络信息检索服务器、用户终端等构成。六、网络信息检索网络信息检索简单地10说就是网络环境下的信息检索。它与传统信息环境下的检索有很大的不同，网络信息检索具有多样性、灵活性也超出了传统的信息检索。原来传统途径可获得的信息，现在几乎全部可以通过网络检索得到，而且更快、更新、更准确。随着计算机、多媒体和现代通讯技术的飞速发展，以印刷型文献为主的学校图书馆开始向以电子信息和虚拟信息为主的数字图书馆转化，Internet创造了丰富和多元化的学习资源，实现了资源共享。随着学习社会化、终身学习体系的诞生和进一步推进，网络在中小学教育中的应用也日益广泛和深入起来。Internet为我们带来了丰富的学校综合教育信息资源，它是提供Internet上的可用于学校综合教育过程的，在学校教育系统中传递的信息。近几年，Internet的发展使信息采集、传播和利用无论是从规模还是速度都达到了空前的水平。信息内容涉及广泛，几乎包括工农业生产、科技、教育、文化艺术、商业、资讯、娱乐休闲等诸多方面。在Intemet上，购物、在线教育、在线股市、远程医疗、点播电影、网络会议、网络展览都已变成现实，成为人类技术和文明的巨大财富，是全球取之不尽，用之不竭的信息资源基地。丰富信息资源带到人们面前的同时，也带来了问题：人们在蕴含丰富的信息面前无所适从，在浩如烟海的信息海洋中迅速、准确获取自己最需要的信息，变得十分困难。因此，20世纪90年代中期出现了检索万维网信息资源的搜索引擎技术。万维网是目前因特网上最受欢迎的检索服务系统，它利用超链接技术将全球的信息资源连接起来，用户通过浏览器就可以实现对网站页面的访问。21世纪是一个高度信息化的社会，信息就是商品、信息就是财富、信息就是资源、信息就是机会，因此人人都渴望及时获得有用的信息。如果说搜集信息是人类赖以生存、发展的一种本能，那么信息检索则是每个大学生和科研人员必须具备的一种基本技能。在计算机、网络通信技术日新月异，互联网遍及世界各个角落的今天，我们正身置于广袤无垠的信息海洋中。面对这样一个新知识、新技术不断涌现、知识新陈代谢频繁的世界，想要一劳永逸地获取知识是不可能的。我们只有终身学习，不断地获取、更新知识，才能不被社会所淘汰。要有效、快速地获取和利用最新信息，就必须掌握信息检索的技能。大学生在校求学期间所获得的不应该仅仅是“黄金”，更重要的是应获得“点金术”，其中之一就是信息检索的能力。通过检索和利用各种信息，不仅可以深化所学的知识；而且可以开阔视野，拓宽知识面；也为自学前人的知识、不断更新知识以及从事科学研究和发明创造奠定基础。