爬虫可以爬知网取穴规律。在中国知网通过高级检索,输入关键词后抓取相关文章的标题、作者、摘要、关键词等信息。中国知网在输入关键词搜索后网址并不会发生变化,在抓取的时候,爬虫自动输入目标关键词搜索后,开始抓取数据。
Python自动化可以实现,有偿服务
这个或许需要多研究一下程序。
自己做个代理服务器。例如618爬虫代理,再指向次一级代理。或者是直接让爬虫通过http proxy的参数设置去先把一个代理。 代理池通常是租来的,或者是扫描出来的。扫描出来的往往大部分都不可用。 爬虫的实现有几百种方案。通常建议直接从SCRAPY入手。