发布时间：
基于python网络爬虫的设计与实现论文好写。因为基于python网络爬虫的设计与实现论文可以从网络上寻找相关的资料来攥写，比较方便，所以基于python网络爬虫的设计与实现论文好写。
做爬虫,特别是python写说容易挺容易,说难也挺难的,举个栗子 简单的:将上面的所有代码爬下来写个for循环,调用urllib2的几个函数就成了,基本10行到20行以内的代码难度0情景:1.网站服务器很卡,有些页面打不开,urlopen直接就无限卡死在了某些页面上(以后urlopen有了timeout)2.爬下来的网站出现乱码,你得分析网页的编码3.网页用了gzip压缩,你是要在header里面约定好默认不压缩还是页面下载完毕后自己解压4.你的爬虫太快了,被服务器要求停下来喝口茶5.服务器不喜欢被爬虫爬,会对对header头部浏览器信息进行分析,如何伪造6.爬虫整体的设计,用bfs爬还是dfs爬7.如何用有效的数据结构储存url使得爬过的页面不被重复爬到8.比如1024之类的网站(逃，你得登录后才能爬到它的内容,如何获取cookies以上问题都是写爬虫很常见的,由于python强大的库,略微加了一些代码而已难度1情景:1.还是cookies问题,网站肯定会有一个地方是log out，爬虫爬的过程中怎样避免爬到各种Log out导致session失效2.如果有验证码才能爬到的地方,如何绕开或者识别验证码3.嫌速度太慢,开50个线程一起爬网站数据难度2情景:1.对于复杂的页面,如何有效的提取它的链接,需要对正则表达式非常熟练2.有些标签是用Js动态生成的，js本身可以是加密的,甚至奇葩一点是jsfuck,如何爬到这些难度3总之爬虫最重要的还是模拟浏览器的行为,具体程序有多复杂,由你想实现的功能和被爬的网站本身所决定爬虫写得不多,暂时能想到的就这么多，欢迎补充
叙述和描写为主，但往往兼有抒情和议论，是一种形式多样，笔墨灵活的文体，也是最广泛的文体。论文写作，是把自己的亲身感受和经历通过生动、形象的语言，描述给读者。论文包括的范围很广，如记人记事，日记、游记、人物传记、传说、新闻、通讯、小说等，都属于论文的范畴。论文写的是生活中的见闻，要表达出作者对于生活的真切感受。
1、首先打开这个爬虫的软件，使用这个语法写上租房信息的毕设。2、其次在下面写一个开题报告，然后在网上爬取相关的信息。3、最后自己进行更正一下就写好了。
是的，毕业论文可以使用爬虫数据，但是这取决于你的论文题目和研究方向。如果你的论文需要使用爬虫数据，那么你需要附上相应的代码，以便评审者可以检查你的研究方法和结果的可靠性。此外，你还需要清楚地解释你的代码，以便评审者可以理解你的研究过程。
计算机专业毕业论文的开题报告
导语：开题报告是拉启毕业论文写作的大幕，开题报告的质量高低直接决定论文的质量。那么计算机专业的开题报告怎么写呢？其写作内容和固定格式有哪些呢？接下来我整理了计算机专业毕业论文的开题报告，文章希望大家喜欢！
论文题目：计算机技术在网络教学中的应用研究
一、本课题的来源及研究意义
随着计算机技术的飞速发展，信息网络已成为社会发展的重要保证。如何以网络为纽带快速、高效、方便地实现知识传递，以现代化手段促进教学改革，将传统的课堂教学转变为课堂+电脑+网络课堂+internet等多种学习方式，是教育工作者应当为之努力的方向。基于JSP技术的网络教学平台是依托校园网的'优势设计和开发的，通过此平台，学生可以不受时间、空间、地域的限制，实现网上浏览教学内容、完成作业，参加测试等功能，教师也可借助此平台，发布公告信息，发布试题，实现课件上传下载，组织讨论答疑等功能。
二、国内外发展状况
在国外，网络教学平台系统已经走上正轨，能高效、方便地实现知识传递，具有很强的可靠性，但是功能稍显不足。
在国内，网络教学平台系统的开发与使用都处于低层次阶段，只有少部分信息存于系统中，系统功能不够全面，人们更多的是使用传统的课堂教学手段，所以我选择了这个毕业设计，目的就是要开发一个通用的功能比较全面的网络教学平台。
三、本课题的研究目标
网络教学平台按照Browser/Server模式，将传统的浏览器/WEB服务器的两层体系结构扩展成浏览器-WEB服务器+应用服务器-数据库服务器三层体系结构，这种模式采用多种标准的协议和技术，适合于任何硬件平台和软件环境。
系统采用JSP与mysql数据库相结合，其实现的基本原理是利用mysql作为数据仓库，用Servlet等高性能服务器端程序作为后台总控程序，JSP程序在前台运行，Servelet接受用户的输入，分别调用不同的JSP程序向客户端反馈信息，JSP/Servlet通过HTTP连接在服务器端和客户端传递数据。
四、本课题的基本内容
1、教师教学系统与学生学习系统
教师教学系统与学生学习系统的功能相对应，主要包含以下几个模块：
（1）网络课堂。
（2）网上作业。
（3）网上测试。
（4）讨论答疑。
（5）网上交流。
（6）实验指导。
2、教学管理系统
系统分为人员管理、课程管理、作业管理、考试管理和讨论交流管理。
（1）人员管理。
（2）课程管理。
（3）作业管理。
（4）考试管理。
（5）讨论交流管理：包括BBS版主管理、帖子管理。
五、本课题重点和难点
1、重点：各功能模块的创建。
2、难点：数据库的连接和数据库的各种操作。
六、论文提纲
第一章：概述
第二章：开发环境简介
第三章：需求分析
第四章：系统的总体设计
第五章：系统的详细设计
第六章：系统实现
第七章：系统运行
第八章：结束语
七、进度安排
1、_______年____月：
完成开题报告，学习、翻阅大量参考文献及相关资料。
2、_______年____月：
对系统作整体构思，初步完成系统框架。
3、_______年____月~____月：
对系统框架作进一步调整和细化；进入代码设计与调试阶段，按照系统的功能要求编写相应的VC++程序，并进行调试。
4、_______年____月：
对系统功能作进一步完善，优化其代码；撰写毕业论文并完成初稿。
5、_______年____月上旬：
对毕业论文作进一步修改，直至最后定稿。
八、主要参考文献
[1]陈禹·信息系统分析与设计。北京：电子工业出版社[M],1986
[2]郑人杰·软件工程。北京：清华大学出版社，2000
[3]Binstock&
[4]Gamma,Helm,Johnson&
[5]Hamilton,Cattell&
[6]Cornel&
[7]
[8]PatrickChan&.北Addison-Wesley,1997
开题报告对整个课题研究工作的顺利开展起着关键的作用，以下是我搜集整理的计算机毕业论文开题报告范文，欢迎阅读查看。
论文题目： 批量到达的云中心性能分析模型
一、选题背景
云计算是一种基于网络的计算模型。用户通过网络向提供商申请计算资源，例如申请操作系统、运行环境或者软件包等资源。其实用户被分配资源的时候，并不清楚真正的运行环境和分配的具体细节。也就是说云就是用户和计算环境之间的一层抽象。在1969年，曾说过，计算机网络还处在初步阶段，但是随着它的壮大和成长，我们就会看到与电力系统和电话系统一样的“计算服务”，将会在个人家庭和办公室全面的使用。这种基于“计算服务”的观点预测了整个计算工业在21世纪的大转型。云这种计算服务模型已经和其他基础设施服务一样按需服务。云计算己经成为继电、水、煤气和电话之后的第五个公共基础设施⑴。目前，客户已经不需要在构建和维护大型而复杂的IT基础设施方面投入太多精力和财力。取而代之的是他们只需要支付他们使用的计算服务的费用。云计算的服务模式可以分为三层：设备即服务(laaS)，设备就是指硬盘、内存、服务器和网络设备等，这些都可以通过网络访问;平台即服务(PaaS)，其中包括一些计算平台，比如说带有操作系统的硬件，虚拟服务器等;软件即服务(SaaS)，包括软件应用以及其他相应的服务应用。云计算的定义并不唯一，其中能够较为准确描述其特征的是于2010年提出的，“云计算是一种新型的运算领域，物理设备，硬件平台和应用软件等共享资源通过网络服务方式为用户提供按其需求的服务。”[2]这个定义阐述了云计算的几个重要特点。
(1)大规模基础设施。以超大规模的硬件设备为底层的云计算平台具有超强的计算能力。各大全球知名的企业，如roM、亚马逊、微软等，均拥有数十万台服务器的云服务平台，而谷歌的云计算平台中服务器的数量更是超过百万台。即便是普通的私有云，一般也会购置数百甚至上千台的服务器。
(2)基于虚拟化技术。用户从云计算平台中获取的资源均经过虚拟化的。从运行端而言，用户将应用程序在云中托管运行即可，而无需了解程序运行的具体位置。从终端来讲，用户可以在任何位置通过终端设备获取所需服务。简而言之，用户始终面对的是一个云平台的使用接口，而不是有形的、固定的实体。
(3)高可靠性。云计算采用数据多副本容错技术、计算节点同构互换策略等来确保云中心的可靠性。云计算这一级别的可靠性是本地计算所无法比拟的。
(4)通用性。云计算并不会专门针对任何一个具体的应用而提供服务。事实上，一个用户可以在云计算平台中根据自己的需要去创建多个不同的应用，而一个云计算平台也可以运行多个不同用户的不同应用。
(5)易扩展性。云计算平台的规模可以根据实际需要进行收缩和扩展，从而满足平台请求大小和使用用户数目的变化。
(6)按需服务。用户所应支付的使用费用是根据其使用计算资源的多少进行计算。多使用多付费，少使用少付费，不使用不付费。这样完全可以减少闲暇时用户资源的闲置。
(7)成本低。通过采用容错技术，可以使用大规模廉价的服务器集群作为硬件基础设施建设云计算平台，这对于云计算服务提供商而言，大大降低了成本投入。对于用户而言，以少量租金换取了原本需要高昂价格投入才能获得的计算资源，并且无需考虑软硬件维护的开销，亦是十分划算。
二、研究目的和意义
现有的云中心物理机模型通常都是面向单任务的，而面向批量任务的服务模型，其性能评估和指标的变化目前正属于初步的研宄阶段，并没有成熟的模型。因此，本文采用ikT/G/m/w+t排队系统对面向批量任务的.云中心进行描述，使用嵌入式马尔可夫链法对+排队系统进行建模，从而实现了对云中心进行准确的建模和分析。
三、本文研究涉及的主要理论
排队现象是日常生活中常见的社会现象。等待公交车时需要排队、去医院看病需要排队、在食堂打饭同样需要排队等等。排队现象的出现需要两个方面同时具备，排队的个体需要得到服务并且存在服务的提供者。而所谓的排队论就是仿照这样的排队现象，先抽象成物理模型，然后进一步建立数学模型的理论体系。显然，排队论研究的是一个系统对用户提供某种服务时，系统所呈现的各种状态。在排队论中，通常将要求得到服务的人或物称为顾客，而给予服务的人员或者机构称为服务台。顾客与服务台就构成了一个排队系统。尽管排队系统种类繁多，但从决定排队系统进程的主要因素来看，它主要是由三个部分组成：顾客到达，排队过程和服务过程。
(1)顾客到达：顾客到达过程描述了顾客到达时候的规律。顾客到达的方式通常是一个一个到达的，此外还有批量到达的，也叫做集体到达。顾客既可能逐个到达也可能分批到达，同时顾客到达之间的时间间隔长度也并不唯一。但是到达总会有一定的规律的。这个到达规律指的是到达过程或到达时间的分布。顾客到达过程研究的主要内容便包括相邻顾客到达的时间间隔服从怎样的概率分布、该概率分布的参数取值如何、各到达时间间隔之间是否相互独立等。
(2)排队过程：在排队过程中，需要讨论的主要问题有两个，一个是排队的队列长度，另一个是排队的规则。排队的队列长度分为有限和无限的两种。队列长度的大小不同，讨论问题的难易和结论就不同。很多情况下，队列长度容量设为无限大来处理问题。排队规则中又包括有队列形态和等待制度两个部分。队列形态包括单队列，并联式多队列，串联式多队列以及杂乱队列这四种形态。并联式多队列就是允许在多个窗口的每一个窗口前形成一个队列。到达顾客可根据队列的长短在开始排队时选择一个队列进行排队。串联式队列顾名思义就是指多队列串行形成多个队列，顾客在一个队列接受服务后，再去下一个队列排队接受服务。杂乱队列就是指串联并联队列会杂乱无章的分布。
排队模型仿真的主要目的是寻找服务设置和服务的对象之间的最佳的配置，使得系统具有最合理的配置和最佳的服务效率。马尔可夫过程是研究排队系统的主要方法。马尔可夫过程是一种特殊的随机过程，它具有无后效性的特点，其状态空间是有限的或可数无限的。这种系统中从一个状态跳转到另一个状态的过程仅取决于当前出发时的状态，与之前的历史状态无关。马尔可夫链作为研究排队系统的重要工具有广泛的应用。但并不是所有的排队系统都可以抽象成严格意义上的马尔可夫过程，因此随着排队过程的发展，马尔可夫链也有了许多的扩展模型和再生方法使得马尔可夫链有更加广泛的应用，例如嵌入马尔可夫链、补充变量法、拟生灭过程等。本节首先介绍一下最严格意义上的马尔可夫链，按照时间来划分可以分为两类，离散时间的马尔可夫链和连续时间过程。
四、本文研究的主要内容
本文从政府的立场考虑，围绕如何成功地将REITs应用于公租房建设融资，结合国内相关形势与政策和现有的国内外经验启示，以REITs在公租房建设融资中应用的运作为主要研究对象。除绪论和结论部分，本文的主要内容集中在2至5章，共4部分内容：第一部分，研究国内外REITs的应用经验及其与保障性住房结合的成功经验，国外主要考察美国和亚洲的典型国家与地区，包括日本、新加坡和香港，国内由于经验很少，主要考察中信一凯德科技园投资基金和汇贤产业信托这两个典型的案例。第二部分，深入研究我国发展公租房REITs的必要性和可行性，其中必要性分析指出REITs是拓展公租房建设融资渠道和提高公租房建设管理效率的重要途径，可行性从经济金融环境和法规政策这两大方面进行了详细分析。第三部分，针对目前国内公租房管理现状，详细阐述了目前REITs在公租房建设融资中运作，包括REITs的基本模式和运作流程，并进一步深入研究了REITs内部参与各方的权责关系和利益分配，从而提出了代理人的选择机制和激励机制。值得指出的是，此时政府除了担任REITs补贴的支付者,更主要的,政府还是REITs投资人的代表身份，在REITs运作的不同阶段，政府以不同的身份参与REITs的内部博弈。第四部分，从政府作为监管者的角度，针对REITs在我国公租房建设融资中的应用提出了一系列政策建议，包括政府应当健全REITs和公租房相关的法律法规，并建立一套针对REITs的全方位的监管制度。
五、写作提纲
致谢5-6
中文摘要6-7
ABSTRACT7
第1章绪论10-17
研究背景与意义10-11
研究背景10-11
研究意义11
研究现状11-15
国外研究现状11-12
国内研究现状12-15
论文内容与结构15-17
论文主要内容15
论文结构15-17
第2章国内外REITs的应用经验及启示17-35
美国REITs的应用经验17-26
美国的REITs及其在廉租房建设中的应用17-21
美国REITs的运作模式21-26
洲典型国家和地区REITs的应用经验26-29
日本REITs的运作模式26-27
新加坡REITs的运作模式27-28
香港REITs的运作模式28-29
我国REITs的应用经验29-32
中信—凯德科技园区投资基金29-30
汇贤产业信托30-32
国内外REITs的经验比较及启示32-35
国内外REITs的经验比较32-33
在我国公租房建设融资中应用的经验启示33-35
第3章REITs在我国公租房建设融资中应用的必要性与可行性分析35-43
在公租房建设融资中应用的必要性分析35-37
是拓展公租房建设融资渠道的重要途径35-36
在提高公租房建设管理效率的重要途径36-37
在公租房建设融资中应用的可行性分析37-43
经济金融环境宽松,民间资本充裕37-41
法律法规导向,政策利好不断41-43
第4章REITs在我国公租房建设融资中的运作43-64
在我国公租房建设融资中的基本模式43-47
设计原则43-44
基本形式选择44-45
组织结构搭建45-47
在我国公租房建设建设融资中的运作流程47-50
设立发行阶段47-48
运营管理阶段48-49
终止清盘阶段49-50
在我国公租房建设融资中的运作机制50-64
运作中的代理问题50-52
代理人选择机制52-56
代理人激励机制56-64
第5章REITs在我国公租房建设融资中应用的政策建议64-68
健全法律法规体系64-66
建全REITs的法律法规体系64-65
完善公租房的相关法律法规65-66
建立REITs的监管制度66-68
明确政府监管主体及职责66
建立REITs信息披露制度66-67
引导社会公众进行监督67-68
第6章结论与展望68-70
论文主要工作及结论68
有待进一步研究的问题68-70
参考文献70-73
软件开发论文参考文献（汇总）
你知道软件开发论文参考文献有哪些吗?下面是我为大家收集的关于软件开发论文参考文献，欢迎大家阅读借鉴!
[1]周金陵.张鹏.丛于 CMMI 的软件过程改进研究[J].计算机工程与设计，2003,2400:60-62.
[2]龚波，于自跃.小型软件企业实施 CMMI 过程改进研究和分析[J].计算机应用研究，2004,21(8)：64-67.
[3][美] 施瓦尔贝.IT项目管理[M].王金玉，时郴，译.北京：机械工业出版社，2002.
[4]刘佰忠.项目管理是 IT 项目灵魂[J].湖南制造业信息化，2004(4)： 9-10.
[5]段琳琳.敏捷方法在需求工程中的研究与应用[[D].长沙：湖南大学，.
[6]段琳琳.王如龙.极限编程在软件项目开发中的研究与应用[J].计算技术与自动化.2008. 27 (l)：127-130.
[7]唐爱国，王如龙.软件项目范围变更流程与过程控制研究[J].项目管理技术，2006. 4(9)：71-73.
[8]唐艳.教捷方法在数据库设计中的应用.牡丹江教育学院学报，2005 年 02 期.
[9]林锐.软件工程与项目管理解析[M].北京：电子工业出版社，2003.
[10]ROBERT C. MARTIN.敏捷软件开发[M].北京：机械工业出版社，2008:388.
[11]伯克温.项目管理艺术[M].南京：东南大学出版社，2007: 342.
[1]陆恩锡，涨慧娟，尹清华.化工过程模拟及相关高新技术[J],化工进展，1999,18(4)： 63-64.
[2]王之瑛.改进高效浓密机工艺和设备是降低生产成本的有效途径[J],湖南有色金属，1995,24-27.
[3]钱学森.关于思维科学[M],上海：上海人民出版社，1987,3-12.
[4]黄向华.控制系统仿真[M],北京：北京航空航天大学出版社，2008,1-5.
[5]刘晓东.沉降槽泥层界面检测仪的应用[J],自动化仪器与仪表，2007(3)：52-53.
[6]杨慧，陈述文.0>50m大型浓密机的自动控制[J],金属矿山，2002,318(12)：38-40.
[7]杨榛，浦伟光等.化工流程工业计算机的应用技术与进展[J],计算机与应用化学，2010, 27(2)： 139-143.
[8]韩虹，李朝明.关于浓缩池设计的探究[J],新疆化工，2007,20(3)：12-14.
[9]孙红先，赵听友，蔡冠梁.化工模拟软件的应用与开发[J],计算机与应用化学，2007,24(9)： 1285-1288.
[10]耿增显，柴天佑，岳恒.浓密机生产过程自动化系统[J],控制工程，2008,19(9)： 353-363.
[11]刘学言.多级逆流洗漆系统洗涤动力数的提出及其应用[J],湿法冶金，1993,7(3)： 25-31.
[1]陈友洪，G 公司 SAP 质量管理系统应用研究[D],甘肃，兰州大学硕士学位论文，2009,7-9.
[2]栾跃，软件开发项目管理[M],上海，上海交通大学出版社，2005,20-40.
[3]黄佳，SAP 业务数据传输指南[M],北京，人民邮电出版社，2006,234-238.
[4] 卢俊，SAP 行业解决方案[M],北京，东方出版社，2008,5-10.
[5]石坚燕，SAP NetWeaver--SAP 新一代业务平台[M],北京，东方出版社，2005,1-37.
[6] 胡险峰，SAP 及 mySAP 商务套件[M],北京，东方出版社，2006,12-15.
[7] Raymond McLeond,Jr. George Schell 着，张成洪，顾卓珺等译，管理信息系统(第10 版)[M],北京，电子工业出版社，2007,19-33.
[8]Peter S. Pande et al,Robert P. Neuman,Roland R. Cavanagh,The Six Sigma Way:How GE,Motorola,and Other Top Companies are Honing Their Performance[M],McGraw-Hill,2000,1-67.
[9]David M. Levine,Statistics for Six Sigma Green Belts with Minitab and JMP[M],FT Press,2006,1-22.
[10]王天杨，王斌峰，倪寅凌，左贝合着，SAP 最佳业务实践[M],北京，东方出版社，2005,17-19.
[11]Christian Kramer,Sven Ringling,Song Yang,Mastering HR Management with SAP[M],SAP Press,2006,19-22.
[12]Andreas Vogel,Ian Kimbell,mySAP ERP For Dummies[M],For Dummies,2005,1-80.
[1]姜新.嵌入式控制系统软件平台的研究与实现[D],武汉：华中科技大学，2003.
[2]向立志，谭杰等.先进控制算法软件的`设计与开发[J],计算机工程，2003,29(18)：41-43.
[3]刘x，周建宏，刘宏民.电熔法提纯氧化镁电极的自动控制[J],电气传动自动化，2000,22(1)： 18-20.
[4]吴志伟，吴永建，张莉等.一种基于规则推理的电熔镁炉智能控制系统[J],东北大学学报(自然版)，2009, 30(11)： 1526-1529.
[5]吴新军.PLC在电溶镁炉集中控制系统中的应用[J],冶金设备，2003,4(2)：67-68.
[6]孙鹤旭，林涛.嵌入式控制系统[M],北京：清华大学出版社，2007,3-4.
[7]齐国超，张卫军.电熔镁电弧炉炉体优化设计[J],冶金能源，2010,29(4)：34-36.
[8]吴永建，吴志伟，柴天佑等.电熔镁炉智能优化仿真实验平台[J],系统仿真学报，2011, 23(4)：676-680.
[9]倪晓明，孙菲.电熔镁石炉的计算机控制及节能改造[J],冶金能源，2002,21(1)： 60-61.
[10]葛伟.基于虚拟仪器的电溶镁炉监测系统[D],大连：大连理工大学，2005.
关于python外文参考文献举例如下：
1、A Python script for adaptive layout optimization of trusses.
翻译：用于桁架的自适应布局优化的Python脚本。
2、a python library to extract, compare and evaluate communities from complex networks.翻译：用于从复杂网络中提取，比较和评估社区的python库。
3、Multiscale finite element calculations in Python using SfePy.
翻译：使用SfePy在Python中进行多尺度有限元计算。
4、Python-based Visual Recognition Classroom.
翻译：基于Python的视觉识别教室。
5、High‐performance Python for crystallographic computing.
翻译：用于晶体学计算的高性能Python。
6、Python programming on win32.
翻译：Win32上的Python编程。
7、A Python package for analytic cosmological radiative transfer calculations.
翻译：一个用于分析宇宙学辐射传递计算的Python包。
Python genes get frantic after a meal.
翻译：饭后Python基因变得疯狂。
A Python toolbox for controlling Magstim transcranial magnetic stimulators.
翻译：用于控制Magstim经颅磁刺激器的Python工具箱。
参考资料来源：百度百科-参考文献
参考资料来源：中国知网-a python library
张若愚 Python 科学计算【M】.北京：清华大学出版社.2012
简要说一下自己的思路1，有两个代理可用（618IP代理，618爬虫代理服务器），所以爬的时候随机选取一个 2，复制安装下载后，随机选一个3，爬一次随机睡眠3～6s 这样IP池有百万，可以无限一直爬
论文——题目科学论文都有题目，不能“无题”。论文题目一般20字左右。题目大小应与内容符合，尽量不设副题，不用第1报、第2报之类。论文题目都用直叙口气，不用惊叹号或问号，也不能将科学论文题目写成广告语或新闻报道用语。署名(二)论文——署名科学论文应该署真名和真实的工作单位。主要体现责任、成果归属并便于后人追踪研究。严格意义上的论文作者是指对选题、论证、查阅文献、方案设计、建立方法、实验操作、整理资料、归纳总结、撰写成文等全过程负责的人，应该是能解答论文的有关问题者。往往把参加工作的人全部列上，那就应该以贡献大小依次排列。论文署名应征得本人同意。学术指导人根据实际情况既可以列为论文作者，也可以一般致谢。行政领导人一般不署名。
1 为什么选择爬虫？要想论述这个问题，需要从网络爬虫是什么？学习爬虫的原因是什么？怎样学习爬虫来理清自己学习的目的，这样才能更好地去研究爬虫技术并坚持下来。
什么是爬虫：爬虫通常指的是网络爬虫，就是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构。它还有一些不常使用的名字。如：网络蜘蛛（Web spider）、蚂蚁（ant）、自动检索工具（automatic indexer）、网络疾走（WEB scutter）、网络机器人等。
学习爬虫的原因：
学习爬虫是一件很有趣的事。我曾利用爬虫抓过许多感兴趣东西，兴趣是最好的老师，感兴趣的东西学的快、记的牢，学后有成就感。
@学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋友希望能够深层次地了解搜索引擎的爬虫工作原理，或者希望自己能够开发出一款私人搜索引擎，那么此时，学习爬虫是非常有必要的。简单来说，我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。当然，信息怎么爬取、怎么存储、怎么进行分词、怎么进行相关性计算等，都是需要我们进行设计的，爬虫技术主要解决信息爬取的问题。
@学习爬虫可以获取更多的数据源。这些数据源可以按我们的目的进行采集，去掉很多无关数据。在进行大数据分析或者进行数据挖掘的时候，数据源可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自动地从互联网中获取我们感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，从而进行更深层次的数据分析，并获得更多有价值的信息。
@对于很多SEO从业者来说，学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜索引擎优化。既然是搜索引擎优化，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，才能知己知彼，百战不殆。
@学习爬虫更有钱景。爬虫工程师是当前紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。有些朋友学习爬虫可能为了就业或者跳槽。从这个角度来说，爬虫工程师方向也是不错的选择之一，因为目前爬虫工程师的需求越来越大，而能够胜任这方面岗位的人员较少，所以属于一个比较紧缺的职业方向，并且随着大数据时代的来临，爬虫技术的应用将越来越广泛，在未来会拥有很好的发展空间。
除了以上为大家总结的4种常见的学习爬虫的原因外，可能你还有一些其他学习爬虫的原因，总之，不管是什么原因，理清自己学习的目的，就可以更好地去研究一门知识技术，并坚持下来。
怎样学习爬虫：
选择一门编程语言。入门爬虫的前提肯定是需要学习一门编程语言，推荐使用Python 。2018年5月Python已排名第一，列为最受欢迎的语言。很多人将 Python 和爬虫绑在一起，相比 Java , Php , Node 等静态编程语言来说，Python 内部的爬虫库更加丰富，提供了更多访问网页的 API。写一个爬虫不需要几十行，只需要 十几行就能搞定。尤其是现在反爬虫日渐严峻的情况下，如何伪装自己的爬虫尤为重要，例如 UA , Cookie , Ip 等等，Python 库对其的封装非常和谐，为此可以减少大部分代码量。
学习爬虫需要掌握的知识点。http相关知识,浏览器拦截、抓包；python的scrapy 、requests、BeautifulSoap等第三方库的安装、使用，编码知识、bytes 和str类型转换，抓取javascript 动态生成的内容，模拟post、get，header等，cookie处理、登录，代理访问，多线程访问、asyncio 异步，正则表达式、xpath,分布式爬虫开发等。
学习爬虫的基本方法。 理清楚爬虫所需的知识体系，然后各个击破；推荐先买一本有一定知名度的书便于系统的学习爬虫的知识体系。刚开始学的时候，建议从基础库开始，有一定理解之后，才用框架爬取，因为框架也是用基础搭建的，只不过集成了很多成熟的模块，提高了抓取的效率，完善了功能。多实战练习和总结实战练习，多总结对方网站的搭建技术、网站的反爬机制，该类型网站的解析方法，破解对方网站的反爬技巧等。
2 为什么选择Python?
百度知道在这方面介绍的很多了，相比其它编程语言，我就简答一下理由：
python是脚本语言。因为脚本语言与编译语言的开发测试过程不同，可以极大的提高编程效率。作为程序员至少应该掌握一本通用脚本语言，而python是当前最流行的通用脚本语言。与python相似的有ruby、tcl、perl等少数几种，而python被称为脚本语言之王。
python拥有广泛的社区。可以说，只要你想到的问题，只要你需要使用的第三方库，基本上都是python的接口。
python开发效率高。同样的任务，大约是java的10倍，c++的10-20倍。
python在科研上有大量的应用。大数据计算、模拟计算、科学计算都有很多的包。python几乎在每个linux操作系统上都安装有，大部分unix系统也都缺省安装，使用方便。
python有丰富和强大的独立库。它几乎不依赖第三方软件就可以完成大部分的系统运维和常见的任务开发；python帮助里还有许多例子代码，几乎拿过来略改一下就可以正式使用。
当然可以，现在有很多的，但是你必须保证爬取的数据的质量啊
达晋编译可以提供数据统计的服务。你是学什么的，如果需要大量的数据你可以使用网络爬虫的技术来实现，如果不会做，花点钱在淘宝上面请人来做。如果只是一般的信息，你可以使用网络采集软件实现。
做爬虫,特别是python写说容易挺容易,说难也挺难的,举个栗子 简单的:将上面的所有代码爬下来写个for循环,调用urllib2的几个函数就成了,基本10行到20行以内的代码难度0情景:1.网站服务器很卡,有些页面打不开,urlopen直接就无限卡死在了某些页面上(以后urlopen有了timeout)2.爬下来的网站出现乱码,你得分析网页的编码3.网页用了gzip压缩,你是要在header里面约定好默认不压缩还是页面下载完毕后自己解压4.你的爬虫太快了,被服务器要求停下来喝口茶5.服务器不喜欢被爬虫爬,会对对header头部浏览器信息进行分析,如何伪造6.爬虫整体的设计,用bfs爬还是dfs爬7.如何用有效的数据结构储存url使得爬过的页面不被重复爬到8.比如1024之类的网站(逃，你得登录后才能爬到它的内容,如何获取cookies以上问题都是写爬虫很常见的,由于python强大的库,略微加了一些代码而已难度1情景:1.还是cookies问题,网站肯定会有一个地方是log out，爬虫爬的过程中怎样避免爬到各种Log out导致session失效2.如果有验证码才能爬到的地方,如何绕开或者识别验证码3.嫌速度太慢,开50个线程一起爬网站数据难度2情景:1.对于复杂的页面,如何有效的提取它的链接,需要对正则表达式非常熟练2.有些标签是用Js动态生成的，js本身可以是加密的,甚至奇葩一点是jsfuck,如何爬到这些难度3总之爬虫最重要的还是模拟浏览器的行为,具体程序有多复杂,由你想实现的功能和被爬的网站本身所决定爬虫写得不多,暂时能想到的就这么多，欢迎补充
免费查阅文献的刊物，你可以看看（计算机科学与应用）等等这些
毕业论文是教学科研过程的一个环节，也是学业成绩考核和评定的一种重要方式。毕业论文的目的在于总结学生在校期间的学习成果，培养学生具有综合地创造性地运用所学的全部专业知识和技能解决较为复杂问题的能力并使他们受到科学研究的基本训练。标题标题是文章的眉目。各类文章的标题，样式繁多，但无论是何种形式，总要以全部或不同的侧面体现作者的写作意图、文章的主旨。毕业论文的标题一般分为总标题、副标题、分标题几种。总标题总标题是文章总体内容的体现。常见的写法有：①揭示课题的实质。这种形式的标题，高度概括全文内容，往往就是文章的中心论点。它具有高度的明确性，便于读者把握全文内容的核心。诸如此类的标题很多，也很普遍。如《关于经济体制的模式问题》、《经济中心论》、《县级行政机构改革之我见》等。②提问式。这类标题用设问句的方式，隐去要回答的内容，实际上作者的观点是十分明确的，只不过语意婉转，需要读者加以思考罢了。这种形式的标题因其观点含蓄，轻易激起读者的注重。如《家庭联产承包制就是单干吗?》、《商品经济等同于资本主义经济吗?》等。③交代内容范围。这种形式的标题，从其本身的角度看，看不出作者所指的观点，只是对文章内容的范围做出限定。拟定这种标题，一方面是文章的主要论点难以用一句简短的话加以归纳；另一方面，交代文章内容的范围，可引起同仁读者的注重，以求引起共鸣。这种形式的标题也较普遍。如《试论我国农村的双层经营体制》、《正确处理中心和地方、条条与块块的关系》、《战后西方贸易自由化剖析》等。④用判定句式。这种形式的标题给予全文内容的限定，可伸可缩，具有很大的灵活性。文章研究对象是具体的，面较小，但引申的思想又须有很强的概括性，面较宽。这种从小处着眼，大处着手的标题，有利于科学思维和科学研究的拓展。如《从乡镇企业的兴起看中国农村的希望之光》、《科技进步与农业经济》、《从“劳动创造了美”看美的本质》等。