发布时间：
法律分析：下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：
爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。
爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”
爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。
法律依据：《中华人民共和国刑法》
第二百八十五条 违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。
违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，依照前款的规定处罚。
单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。
第二百五十三条之一 违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
犯法的，爬知网属于犯法行为，随着中国经济的不断往前走，知识产权问题会越来越重视，非法爬虫是现在一个重要的打击部分，如果有程序员走在灰色的边缘尽早收手，不要因为一点小的收益导致触犯法律，从而得不偿失。技术是无罪的，但是用到了错的地方代价也是非常巨大的。
论文——题目科学论文都有题目，不能“无题”。论文题目一般20字左右。题目大小应与内容符合，尽量不设副题，不用第1报、第2报之类。论文题目都用直叙口气，不用惊叹号或问号，也不能将科学论文题目写成广告语或新闻报道用语。署名(二)论文——署名科学论文应该署真名和真实的工作单位。主要体现责任、成果归属并便于后人追踪研究。严格意义上的论文作者是指对选题、论证、查阅文献、方案设计、建立方法、实验操作、整理资料、归纳总结、撰写成文等全过程负责的人，应该是能解答论文的有关问题者。往往把参加工作的人全部列上，那就应该以贡献大小依次排列。论文署名应征得本人同意。学术指导人根据实际情况既可以列为论文作者，也可以一般致谢。行政领导人一般不署名。
爬虫可以爬知网取穴规律。在中国知网通过高级检索，输入关键词后抓取相关文章的标题、作者、摘要、关键词等信息。中国知网在输入关键词搜索后网址并不会发生变化，在抓取的时候，爬虫自动输入目标关键词搜索后，开始抓取数据。
为了做到更优雅，这次抛弃了urllib库的引用，使用requests和beautifulsoup搭配的方式进行 首先构建一个请求并且响应它然后呢到上找一篇文章试试手，看一下网页源码找到文章的div以及找到文章内容，仔细看看内容还挺不错哈哈可以发现所有的内容都在p标签里面，那么接下来就简单多了只需要f5运行一下 最后使用codecs库来进行文件操作将文章保存到本地没错使用上requests和bs4之后爬取文章的工作是那么的轻松呢效果图
这个或许需要多研究一下程序。
一、使用的技术栈：爬虫：python27 +requests+json+bs4+time分析工具： ELK套件开发工具：pycharm数据成果简单的可视化分析1.性别分布0 绿色代表的是男性 ^ . ^1 代表的是女性-1 性别不确定可见知乎的用户男性颇多。二、粉丝最多的top30粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。三、写文章最多的top30四、爬虫架构爬虫架构图如下：说明：选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。解析该用户的个人信息，并存取到本地磁盘。logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。五、编码爬取一个url:解析内容：存本地文件：代码说明：* 需要修改获取requests请求头的authorization。* 需要修改你的文件存储路径。源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization打开chorme，打开https : // www. zhihu .com/，登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方可增加线程池，提高爬虫效率存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。八、关于ELK套件关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
返照入闾巷，
不违法但是不能随意出卖自己用是没事的
我开通了校园网，但是我使用的校外访问。
在登录知网的时候，你是看下右下角有个 校外访问 ，你点进去登录试试。
我提前说明一下，我是买了校园网的，但是我用的我手机的wifi热点连上得网络，然后使用的是“校外访问”登录上去的。登录成功后显示的是你的学校的名字，不是你个人的名字。
有CAJ 和PDF两种格式的论文，PDF格式，大部分电脑都有自带的软件，比如WORD,WPS,ADOBE等等。但是CAJ，英文是China acdamic Joural 中国学术期刊，这种格式你需要下载E-STUDY 或者叫什么CAJ浏览器，我觉得E-study比较好，因为这个都嫩用，CAJ浏览器只能看CAJ的。
另外，我找到这篇文章，你可以自己看！
（网页链接）
免费下载知网论文的方法如下：
1、方法一：到中国国家图书馆网站上注册一个账号。进入知网，然后通过关键词i检索文献，之后将需要的文章标题复制下来，然后再从国家图书馆的入口进入知网搜索刚才复制下的标题，就能下载了。登陆之后下载这些期刊论文都是免费的。
2、方法二：超星移动图书馆，不过要等推送，慢。使用方法，首先你要是个学生，有学校的图书馆账号，一般就是你的学号。超星移动图书馆有网页版、PC版的，也有手机版和苹果版的，选择学校，用学校图书馆账号登录，绑定邮箱，然后你搜索到想要的文献后选择文献推送，就会把文献发给你的邮箱，承诺是48小时到，我一般遇上的都是第二天到。
3、方法三：学校VPN。各大高校基本提供了VPN，校园外用户可以使用vpn2，登陆后从“图书馆电子资源导航”进入即可。
4、方法四：上中国知网，根据下载量、引用量，选择期刊或论文，文献非常多，但无法查看完整文章。之后打开道客巴巴网站，搜索文章名称，基本都可以找到完整的文章但无法免费下载。下载“ 海纳百川 ”软件，专门针对道客巴巴的文章可以直接免费下载PDF版。
知网下载论文的方法如下：
一、工具／原料：
华为 Matebook 15、Windows 10、Chrome 、知网（网页）。
二、具体步骤：
1、百度检索“中国知网”。
2、打开中国知网后，将搜索方式设置为主题。
3、输入想要搜索的主题，按回车键进行搜索。
4、在显示列表中找到想要下载的文章，点击文章标题打开该网页。
5、在下方显示有两种下载方式，分别是“PDF 下载”和“CAJ 下载”。
6、如果下载 CAJ 文献，则必须在电脑中安装 CAJViewer 这款软件，依据个人电脑软件和喜好选择下载即可。
7、有的文献还支持 HTML 阅读，也就是在线阅读，这样就省去了下载步骤。
根据查询相关资料显示：违法。知网的文献都是花钱买的，除非你使用的第三方软件与知网的协议明确，可以将剩余检测名额转给第三方，否则即构成违约。