发布时间：
过程大体分为以下几步：
Python自动化可以实现，有偿服务
一、使用的技术栈：爬虫：python27 +requests+json+bs4+time分析工具： ELK套件开发工具：pycharm数据成果简单的可视化分析1.性别分布0 绿色代表的是男性 ^ . ^1 代表的是女性-1 性别不确定可见知乎的用户男性颇多。二、粉丝最多的top30粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。三、写文章最多的top30四、爬虫架构爬虫架构图如下：说明：选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。解析该用户的个人信息，并存取到本地磁盘。logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。五、编码爬取一个url:解析内容：存本地文件：代码说明：* 需要修改获取requests请求头的authorization。* 需要修改你的文件存储路径。源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization打开chorme，打开https : // www. zhihu .com/，登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方可增加线程池，提高爬虫效率存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。八、关于ELK套件关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
别折腾了，不打算往爬虫方向发展的话没必要自己学，爬虫所需要的技术非常广泛、且对深度都有一定要求，不存在“快速学会”的情况。所有那些吹快速学会爬虫的培训班都是扯淡，那些课程学完后的水平连傻瓜式爬虫工具都不如，有啥意义？再说了，你们写论文、做研究又不会需要什么很大量、很高频、很实时的数据，那些傻瓜式爬虫工具完全足够了，点几下就能出数据。
方法1：BS版简单写了个，只是爬链接的，加上标题老报错，暂时没看出来原因，先给你粘上来吧（方法2无问题）fromBeautifulSoupimportBeautifulSoupimporturllib2importredefgrabHref(url,localfile):html=(url).read()html=unicode(html,'gb2312','ignore').encode('utf-8','ignore')content=BeautifulSoup(html).findAll('a')myfile=open(localfile,'w')pat=(r'href="([^"]*)"')pat2=(r'/tools/')foritemincontent:h=(str(item))href=(1)(href):#s=BeautifulSoup(item)#()#('\r\n')(href)('\r\n')#()defmain():url=""localfile=''grabHref(url,localfile)if__name__=="__main__":main()方法2：Re版由于方法1有问题，只能获取到下载页面链接，所以换用Re解决，代码如下：importurllib2importreurl=''find_re=(r'href="([^"]*)".+?>(.+?)')pat2=(r'/tools/')html=(url).read()html=unicode(html,'utf-8','ignore').encode('gb2312','ignore')myfile=open('','w')(html):(str(x)):print>>myfile,x[0],x[1]()print'Done!'
Python自动化可以实现，有偿服务
提取所有链接应该用循环：urls = ("//a")for url in urls: print(("href"))如果get_attribute方法报错应该是没有找到a标签对象，如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间；另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。
我开通了校园网，但是我使用的校外访问。
在登录知网的时候，你是看下右下角有个 校外访问 ，你点进去登录试试。
我提前说明一下，我是买了校园网的，但是我用的我手机的wifi热点连上得网络，然后使用的是“校外访问”登录上去的。登录成功后显示的是你的学校的名字，不是你个人的名字。
有CAJ 和PDF两种格式的论文，PDF格式，大部分电脑都有自带的软件，比如WORD,WPS,ADOBE等等。但是CAJ，英文是China acdamic Joural 中国学术期刊，这种格式你需要下载E-STUDY 或者叫什么CAJ浏览器，我觉得E-study比较好，因为这个都嫩用，CAJ浏览器只能看CAJ的。
另外，我找到这篇文章，你可以自己看！
（网页链接）
免费下载知网论文的方法如下：
1、方法一：到中国国家图书馆网站上注册一个账号。进入知网，然后通过关键词i检索文献，之后将需要的文章标题复制下来，然后再从国家图书馆的入口进入知网搜索刚才复制下的标题，就能下载了。登陆之后下载这些期刊论文都是免费的。
2、方法二：超星移动图书馆，不过要等推送，慢。使用方法，首先你要是个学生，有学校的图书馆账号，一般就是你的学号。超星移动图书馆有网页版、PC版的，也有手机版和苹果版的，选择学校，用学校图书馆账号登录，绑定邮箱，然后你搜索到想要的文献后选择文献推送，就会把文献发给你的邮箱，承诺是48小时到，我一般遇上的都是第二天到。
3、方法三：学校VPN。各大高校基本提供了VPN，校园外用户可以使用vpn2，登陆后从“图书馆电子资源导航”进入即可。
4、方法四：上中国知网，根据下载量、引用量，选择期刊或论文，文献非常多，但无法查看完整文章。之后打开道客巴巴网站，搜索文章名称，基本都可以找到完整的文章但无法免费下载。下载“ 海纳百川 ”软件，专门针对道客巴巴的文章可以直接免费下载PDF版。
知网下载论文的方法如下：
一、工具／原料：
华为 Matebook 15、Windows 10、Chrome 、知网（网页）。
二、具体步骤：
1、百度检索“中国知网”。
2、打开中国知网后，将搜索方式设置为主题。
3、输入想要搜索的主题，按回车键进行搜索。
4、在显示列表中找到想要下载的文章，点击文章标题打开该网页。
5、在下方显示有两种下载方式，分别是“PDF 下载”和“CAJ 下载”。
6、如果下载 CAJ 文献，则必须在电脑中安装 CAJViewer 这款软件，依据个人电脑软件和喜好选择下载即可。
7、有的文献还支持 HTML 阅读，也就是在线阅读，这样就省去了下载步骤。
论文——题目科学论文都有题目，不能“无题”。论文题目一般20字左右。题目大小应与内容符合，尽量不设副题，不用第1报、第2报之类。论文题目都用直叙口气，不用惊叹号或问号，也不能将科学论文题目写成广告语或新闻报道用语。署名(二)论文——署名科学论文应该署真名和真实的工作单位。主要体现责任、成果归属并便于后人追踪研究。严格意义上的论文作者是指对选题、论证、查阅文献、方案设计、建立方法、实验操作、整理资料、归纳总结、撰写成文等全过程负责的人，应该是能解答论文的有关问题者。往往把参加工作的人全部列上，那就应该以贡献大小依次排列。论文署名应征得本人同意。学术指导人根据实际情况既可以列为论文作者，也可以一般致谢。行政领导人一般不署名。
爬虫可以爬知网取穴规律。在中国知网通过高级检索，输入关键词后抓取相关文章的标题、作者、摘要、关键词等信息。中国知网在输入关键词搜索后网址并不会发生变化，在抓取的时候，爬虫自动输入目标关键词搜索后，开始抓取数据。
为了做到更优雅，这次抛弃了urllib库的引用，使用requests和beautifulsoup搭配的方式进行 首先构建一个请求并且响应它然后呢到上找一篇文章试试手，看一下网页源码找到文章的div以及找到文章内容，仔细看看内容还挺不错哈哈可以发现所有的内容都在p标签里面，那么接下来就简单多了只需要f5运行一下 最后使用codecs库来进行文件操作将文章保存到本地没错使用上requests和bs4之后爬取文章的工作是那么的轻松呢效果图
知网上的论文看全文的方法是：可以通过点击在线浏览或者下载的方式进行查看。
在中国知网上想要浏览文章的全部内容或者下载文章，一般都是需要支付相应的费用的，具体的费用会根据文章字数的多少来决定，相对来说，字数越多，需要读的费用越多。
如果想要查看知网中收录的论文的全文，第一种方法就是将论文下载下来进行查看。知网提供了两种论文的下载格式，一种是PDF，一种是CAJ格式。第二种阅读全文的方法就是在线阅读，也就是说在不下载论文的前提下直接阅读论文。
在中国知网上想要浏览文章的全部内容或者下载文章，无论是哪种方式，一般都是需要支付相应的费用的，具体的费用会根据文章字数的多少来决定，相对来说，字数越多，需要读的费用越多。
用户需要先登录中国知网，然后在知网首页的检索栏中输入论文标题，点击检索后在论文页面下方点击手机阅读或者html阅读，系统自动完成扣费后，用户即可在知网全文查看论文内容。
如果提示余额不足，就需要用户前往知网首页上方的充值入口，在充值界面中根据自己的需求充值一定的金额，充值完毕后返回文献下载页，点击下载按钮即可正常下载。
如何免费下载知网论文如下：
首先学生需要登录自己的校园网，在校园网首页中找到知网查重入口，点击进入后使用学校提供的账号和密码登录知网，学生即可享受免费查看文献的服务。学生可以在知网首页搜索想要的文献标题，进入文献页面后点击下方的手机阅读或者html阅读，学生即可在知网免费查看全文论文内容。
关于知网的介绍如下：
中国知网，始建于1999年6月，是中国核工业集团资本控股有限公司控股的同方股份有限公司旗下的学术平台。 [15] 知网是国家知识基础设施（National Knowledge Infrastructure，NKI）的概念，由世界银行于1998年提出。CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目。
2022年12月26日，市场监管总局依法对知网滥用市场支配地位行为作出行政处罚，责令知网停止违法行为，并处以其2021年中国境内销售额亿元5%的罚款，计8760万元。对此知网回应诚恳接受，坚决服从，并公布了15项整改措施
只要能展现在页面的 都可以