爬虫毕业论文摘要

做爬虫,特别是python写说容易挺容易,说难也挺难的,举个栗子 简单的:将上面的所有代码爬下来写个for循环,调用urllib2的几个函数就成了,基本10行到20行以内的代码难度0情景:1.网站服务器很卡,有些页面打不开,urlopen直接就无限卡死在了某些页面上(以后urlopen有了timeout)2.爬下来的网站出现乱码,你得分析网页的编码3.网页用了gzip压缩,你是要在header里面约定好默认不压缩还是页面下载完毕后自己解压4.你的爬虫太快了,被服务器要求停下来喝口茶5.服务器不喜欢被爬虫爬,会对对header头部浏览器信息进行分析,如何伪造6.爬虫整体的设计,用bfs爬还是dfs爬7.如何用有效的数据结构储存url使得爬过的页面不被重复爬到8.比如1024之类的网站(逃，你得登录后才能爬到它的内容,如何获取cookies以上问题都是写爬虫很常见的,由于python强大的库,略微加了一些代码而已难度1情景:1.还是cookies问题,网站肯定会有一个地方是log out，爬虫爬的过程中怎样避免爬到各种Log out导致session失效2.如果有验证码才能爬到的地方,如何绕开或者识别验证码3.嫌速度太慢,开50个线程一起爬网站数据难度2情景:1.对于复杂的页面,如何有效的提取它的链接,需要对正则表达式非常熟练2.有些标签是用Js动态生成的，js本身可以是加密的,甚至奇葩一点是jsfuck,如何爬到这些难度3总之爬虫最重要的还是模拟浏览器的行为,具体程序有多复杂,由你想实现的功能和被爬的网站本身所决定爬虫写得不多,暂时能想到的就这么多，欢迎补充

写完摘要两字，另起一行空两格写内容。

内容摘要是全文内容的缩影，需要提出主要论点、揭示论文的研究成果、简要叙述全文的框架结构。内容提要是正文的附属部分，一般放置在论文的篇首。内容摘要应把论文的主要观点提示出来，便于读者一看就能了解论文内容的要点。

摘要是对论文的内容不加注释和评论的简短陈述，要求扼要地说明研究工作的目的、研究方法和最终结论等，重点是结论，是一篇具有独立性和完整性的短文，可以引用、推广。

扩展资料：

论文摘要的注意事项：

1、不得简单重复题名中已有的信息，不得照搬论文正文中的小标题（目录）或论文结论部分的文字，也不要诠释论文内容。

2、采用文字叙述，不得将文中的数据罗列在摘要中；文字要简洁，应排除本学科领域已成为常识的内容，应删除无意义的或不必要的字眼；内容不宜展开论证说明，不要列举例证，不介绍研究过程。

3、摘要的内容必须完整，不能把论文中所阐述的主要内容（或观点）遗漏，应写成一篇可以独立使用的短文。

4、摘要一般不分段，切忌以条列式书写法。陈述要客观，对研究过程、方法和成果等不宜作主观评价，不应与别人的研究作对比说明。

第一，避免出现谦词、关联词、感叹词、疑问词等。第二，摘要属纯客观介绍，一般用第三人称。第三，本科毕业论文摘要一般不用分段。第四，摘要应避免和论文引言、结论部分重复。第五，摘要要结构严谨避免冗杂，用简洁话语表述即可，一般不用长句。