发表服务
分布式网络爬虫技术的研究与实现---优秀毕业论文参考文献可复制黏贴.工学硕士学位论文分布式网络爬虫技术的研究与实现哈尔滨工业大学2006国内图书分类号：TP391.3国际图书分类号：681.37工学硕士学位论文分布式网络爬虫技术的研究与实现硕士研究生...
分布式网络爬虫的研究与实现摘要随着互联网的高速发展，在互联网搜索服务中，搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，这些页面用于建立索引从而为搜索引擎提供支持。
硕士学位论文基于Hadoop的分布式网络爬虫技术DISTRIBUTEDWEBCRAWLERTECHNOLOGYBASED哈尔滨工业大学2011国内图书分类号：TP391.2学校代码：10213国际图书分类号：681.37密级：公开工学硕士学位论文基于Hadoop的分布式...
本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。论文工作主要表现为：1、引入一致性哈希算法，用于解决URL任务分发策略、爬虫主机间负载均衡、单机热点问题，确保分布式爬虫系统具有良好的可扩展性、平衡性、容错性。
本论文所设计的爬虫就是基于局域网分布式网络爬虫。二、分布式网络爬虫整体分析分布式网络爬虫的整体设计重点应该在于爬虫如何进行通信。目前分布式网络爬虫按通信方式不同分布式网路爬虫可以分为主从模式、自治模式与混合模式三种。主从模式是指
基于Hadoop的分布式网络爬虫系统的设计与实现.【摘要】：随着互联网规模的不断扩大,云计算、大数据的快速发展,互联网资源的不断增多,搜索引擎在信息检索方面起着关键性的作用,在日常生活中人们已经离不开搜索引擎,搜索引擎能够为人们快速准确地提供所...
基于Scrapy框架的分布式网络爬虫实现.摘要根据互联网实际情况，提出分布式爬虫模型，基于Scrapy框架，进行代码实现，且该开发方式可以迅速进行对不同主题的数据爬取的移植，满足不同专业方向的基于互联网大数据分析需要。.分布式爬虫：分布式方式是以...
基于Hadoop的分布式网络爬虫的研究与实现-随着互联网迅速普及并应用于人类生活的各个方面,互联网上的数据急剧增加。用户想要从如此大规模的数据中找到自己想要的信息必须借助搜索引擎。网络爬虫是搜索引擎的核心,它通过广泛抓取互联网中...
分布式爬虫系统的设计与实现[J].中国科技信息,2014(15):116-117.被引量：12陶耀东,向中希.基于改进Kademlia协议的分布式爬虫[J].计算机系统应用,2016,0(4):156被引量：53袁威,薛安荣,周小梅.被…
基于Hadoop的分布式网络爬虫技术的设计与展示.随着互联网快速的发展，web信息迅速增长，数据量大且种类多，需要把分散的计算机构建成一个系统整体，计算机之间分工协作，减少节点之间的分散，提高网络爬虫的性能。.海量且冗杂的数据使得普通的数据库...
分布式网络爬虫技术的研究与实现---优秀毕业论文参考文献可复制黏贴.工学硕士学位论文分布式网络爬虫技术的研究与实现哈尔滨工业大学2006国内图书分类号：TP391.3国际图书分类号：681.37工学硕士学位论文分布式网络爬虫技术的研究与实现硕士研究生...
分布式网络爬虫的研究与实现摘要随着互联网的高速发展，在互联网搜索服务中，搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，这些页面用于建立索引从而为搜索引擎提供支持。
硕士学位论文基于Hadoop的分布式网络爬虫技术DISTRIBUTEDWEBCRAWLERTECHNOLOGYBASED哈尔滨工业大学2011国内图书分类号：TP391.2学校代码：10213国际图书分类号：681.37密级：公开工学硕士学位论文基于Hadoop的分布式...
本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。论文工作主要表现为：1、引入一致性哈希算法，用于解决URL任务分发策略、爬虫主机间负载均衡、单机热点问题，确保分布式爬虫系统具有良好的可扩展性、平衡性、容错性。
本论文所设计的爬虫就是基于局域网分布式网络爬虫。二、分布式网络爬虫整体分析分布式网络爬虫的整体设计重点应该在于爬虫如何进行通信。目前分布式网络爬虫按通信方式不同分布式网路爬虫可以分为主从模式、自治模式与混合模式三种。主从模式是指
基于Hadoop的分布式网络爬虫系统的设计与实现.【摘要】：随着互联网规模的不断扩大,云计算、大数据的快速发展,互联网资源的不断增多,搜索引擎在信息检索方面起着关键性的作用,在日常生活中人们已经离不开搜索引擎,搜索引擎能够为人们快速准确地提供所...
基于Scrapy框架的分布式网络爬虫实现.摘要根据互联网实际情况，提出分布式爬虫模型，基于Scrapy框架，进行代码实现，且该开发方式可以迅速进行对不同主题的数据爬取的移植，满足不同专业方向的基于互联网大数据分析需要。.分布式爬虫：分布式方式是以...
基于Hadoop的分布式网络爬虫的研究与实现-随着互联网迅速普及并应用于人类生活的各个方面,互联网上的数据急剧增加。用户想要从如此大规模的数据中找到自己想要的信息必须借助搜索引擎。网络爬虫是搜索引擎的核心,它通过广泛抓取互联网中...
分布式爬虫系统的设计与实现[J].中国科技信息,2014(15):116-117.被引量：12陶耀东,向中希.基于改进Kademlia协议的分布式爬虫[J].计算机系统应用,2016,0(4):156被引量：53袁威,薛安荣,周小梅.被…
基于Hadoop的分布式网络爬虫技术的设计与展示.随着互联网快速的发展，web信息迅速增长，数据量大且种类多，需要把分散的计算机构建成一个系统整体，计算机之间分工协作，减少节点之间的分散，提高网络爬虫的性能。.海量且冗杂的数据使得普通的数据库...
发表服务