爬虫的成果毕业论文

论文——题目科学论文都有题目，不能“无题”。论文题目一般20字左右。题目大小应与内容符合，尽量不设副题，不用第1报、第2报之类。论文题目都用直叙口气，不用惊叹号或问号，也不能将科学论文题目写成广告语或新闻报道用语。署名(二)论文——署名科学论文应该署真名和真实的工作单位。主要体现责任、成果归属并便于后人追踪研究。严格意义上的论文作者是指对选题、论证、查阅文献、方案设计、建立方法、实验操作、整理资料、归纳总结、撰写成文等全过程负责的人，应该是能解答论文的有关问题者。往往把参加工作的人全部列上，那就应该以贡献大小依次排列。论文署名应征得本人同意。学术指导人根据实际情况既可以列为论文作者，也可以一般致谢。行政领导人一般不署名。

免费查阅文献的刊物，你可以看看（计算机科学与应用）等等这些

做爬虫,特别是python写说容易挺容易,说难也挺难的,举个栗子 简单的:将上面的所有代码爬下来写个for循环,调用urllib2的几个函数就成了,基本10行到20行以内的代码难度0情景:1.网站服务器很卡,有些页面打不开,urlopen直接就无限卡死在了某些页面上(2.6以后urlopen有了timeout)2.爬下来的网站出现乱码,你得分析网页的编码3.网页用了gzip压缩,你是要在header里面约定好默认不压缩还是页面下载完毕后自己解压4.你的爬虫太快了,被服务器要求停下来喝口茶5.服务器不喜欢被爬虫爬,会对对header头部浏览器信息进行分析,如何伪造6.爬虫整体的设计,用bfs爬还是dfs爬7.如何用有效的数据结构储存url使得爬过的页面不被重复爬到8.比如1024之类的网站(逃，你得登录后才能爬到它的内容,如何获取cookies以上问题都是写爬虫很常见的,由于python强大的库,略微加了一些代码而已难度1情景:1.还是cookies问题,网站肯定会有一个地方是log out，爬虫爬的过程中怎样避免爬到各种Log out导致session失效2.如果有验证码才能爬到的地方,如何绕开或者识别验证码3.嫌速度太慢,开50个线程一起爬网站数据难度2情景:1.对于复杂的页面,如何有效的提取它的链接,需要对正则表达式非常熟练2.有些标签是用Js动态生成的，js本身可以是加密的,甚至奇葩一点是jsfuck,如何爬到这些难度3总之爬虫最重要的还是模拟浏览器的行为,具体程序有多复杂,由你想实现的功能和被爬的网站本身所决定爬虫写得不多,暂时能想到的就这么多，欢迎补充

学术堂整理了一篇3000字的计算机论文范文，供大家参考：

范文题目：关于新工程教育计算机专业离散数学实验教学研究

摘要: 立足新工科对计算机类专业应用实践能力培养的要求，分析了目前离散数学教学存在的关键问题，指明了开展离散数学实验教学的必要性。在此基础上，介绍了实验教学内容的设计思路和设计原则，给出了相应的实验项目，并阐述了实验教学的实施过程和教学效果。

关键词:新工科教育;离散数学;计算机专业;实验教学

引言

新工科教育是以新理念、新模式培养具有可持续竞争力的创新型卓越工程科技人才，既重视前沿知识和交叉知识体系的构建，又强调实践创新创业能力的培养。计算机类是新工科体系中的一个庞大专业类，按照新工科教育的要求，计算机类专业的学生应该有很好的逻辑推理能力和实践创新能力，具有较好的数学基础和数学知识的应用能力。作为计算机类专业的核心基础课，离散数学的教学目标在于培养学生逻辑思维、计算思维能力以及分析问题和解决问题的能力。但长期以来“定义－定理－证明”这种纯数学的教学模式，导致学生意识不到该课程的重要性，从而缺乏学习兴趣，严重影响学生实践能力的培养。因此，打破原有的教学模式，结合计算机学科的应用背景，通过开展实验教学来加深学生对于离散数学知识的深度理解是实现离散数学教学目标的重要手段。

1．实验项目设计

围绕巩固课堂教学知识，培养学生实践创新能力两个目标，遵循实用性和可行性原则，设计了基础性、应用性、研究性和创新性四个层次的实验项目。

(1) 基础性实验

针对离散数学的一些基本问题，如基本的定义、性质、计算方法等设计了7个基础性实验项目，如表1所示。这类实验要求学生利用所学基础知识，完成算法设计并编写程序。通过实验将抽象的离散数学知识与编程结合起来，能激发学生学习离散数学的积极性，提高教学效率，进而培养学生的编程实践能力。

(2) 应用性实验

应用性实验是围绕离散数学主要知识单元在计算机学科领域的应用来设计实验，如表2所示。设计这类实验时充分考虑了学生掌握知识的情况，按照相关知识点的应用方法给出了每个实验的步骤。学生甚至不需要完成全部实验步骤即可达到实验效果。例如，在“等价关系的应用”实验中，按照基于等价类测试用例的设计方法给出了实验步骤，对基础较差的学生只需做完第三步即可达到“巩固等价关系、等价类、划分等相关知识，了解等价关系在软件测试中的应用，培养数学知识的应用能力。”的实验目的。

(3) 研究性实验研究性实验和应用性实验一样

也是围绕离散数学主要知识单元在计算机科学领域中的应用来设计实验，不同之处在于，研究性实验的实验步骤中增加了一些需要学生进一步探讨的问题。这类实验项目一方面为了使学生进一步了解离散数学的重要性，另一方面为了加强学生的创新意识与创新思维，提高计算机专业学生的数学素质和能力。表 3 给出了研究性试验项目。

(4) 创新性实验

在实际教学中还设计了多个难度较高的创新性实验题目，例如，基于prolog语言的简单动物识别

系统、基于最短路径的公交线路查询系统、简单文本信息检索系统的实现等，完成该类实验需要花费较长的时间，用到更多的知识。通过这些实验不仅有利于培养学生分析问题、解决问题的能力和创新设计能力，也有利于培养学生独立思考、敢于创新的能力。

3．实验教学模式的构建

通过实验教学环节无疑可以激发学生对课程的兴趣，提高课程教学效率，培养学生的实践创新能力。但是，近年来，为了突出应用性人才培养，很多地方本科院校对离散数学等基础理论课的课时进行了压缩，加之地方本科院校学生基础较差，使得离散数学课时严重不足，不可能留出足够的实验教学时间。针对这种情况，采用多维度、多层次的教学模式进行离散数学实验教学。

(1) 将实验项目引入课堂教学

在离散数学的教学过程中，将能反映在计算机科学领域典型应用的实验项目引入到课堂教学中，引导学生应用所学知识分析问题、解决问题。例如在讲授主析取范式时，引入加法器、表决器的设计，并用multisim进行仿真演示，让学生理解数理逻辑在计算机硬件设计中的作用。又如讲谓词逻辑推理时，引入前一届学生用Prolog完成的“小型动物识别系统”作为演示实验。这些应用实例能够让学生体会数理逻辑在计算机科学领域的应用价值，不仅激发学生的学习兴趣，提高课堂教学效率，也锻炼了学生的逻辑思维，培养了学生的系统设计能力。

(2) 改变课后作业形式，在课后作业中增加上机实验题目

由于课时有限，将实验内容以课后作业的形式布置下去，让学生在课余时间完成实验任务。例如讲完数理逻辑内容后，布置作业: 编写 C语言程序，实现如下功能: 给定两个命题变元 P、Q，给它们赋予一定的真值，并计算P、P∧Q、P∨Q的真值。通过完成，使学生掌握命题联结词的定义和真值的确定方法，了解逻辑运算在计算机中的实现方法。又如，把“偏序关系的应用”实验作为“二元关系”这一章的课后作业，给定某专业开设的课程以及课程之间的先后关系，要求学生画出课程关系的哈斯图，安排该专业课程开设顺序，并编写程序实现拓扑排序算法。通过该实验学生不仅巩固了偏序关系、哈斯图等知识，而且了解到偏序关系在计算机程序设计算法中的应用和实现方法。

(3) 布置阅读材料

在教学中，通常选取典型应用和相关的背景知识作为课前或课后阅读材料，通过课堂提问抽查学生的阅读情况。这样，不仅使学生预习或复习了课程内容，同时也使他们对相关知识点在计算机学科领域的应用有了一定的了解。例如，在讲解等价关系后，将“基于等价类的软件测试用例设计方法”作为课后阅读材料; 在讲解图的基本概念之前，将“图在网络爬虫技术中的应用”作为课前阅读材料; 货郎担问题和中国邮路问题作为特殊图的课后阅读材料。通过这些阅读材料极大地调动学生学习的积极性，取得了非常好的教学效果。

(4) 设置开放性实验项目

在离散数学教学中，通常选择一两个创新性实验项目作为课外开放性实验，供学有余力的学生学习并完成，图1给出了学生完成的“基于最短路径公交查询系统”界面图。同时，又将学生完成的实验系统用于日后的课堂教学演示，取得了比较好的反响。

(5) 利用网络教学平台

为了拓展学生学习的空间和时间，建立了离散数学学习网站，学习网站主要包括资源下载、在线视频、在线测试、知识拓展和站内论坛五个部分模块，其中知识拓展模块包含背景知识、应用案例和实验教学三部分内容。通过学习网站，学生不仅可以了解离散数学各知识点的典型应用，还可以根据自己的兴趣选择并完成一些实验项目。在教学实践中，规定学生至少完成1－2个应用性实验项目并纳入期中或平时考试成绩中，从而激发学生的学习兴趣。

4．结束语

针对新工科教育对计算机类专业实践创新能力的要求，在离散数学教学实践中进行了多方位、多层次的实验教学，使学生了解到离散数学的重要

性，激发了学生的学习兴趣，提高了学生程序设计能力和创新能力，取得了较好的教学效果。教学团队将进一步挖掘离散数学的相关知识点在计算机学科领域的应用，完善离散数学实验教学体系，使学生实践能力和创新思维得以协同培养，适应未来工程需要。

参考文献:

［1］徐晓飞，丁效华．面向可持续竞争力的新工科人才培养模式改革探索［J］．中国大学教学，2017(6)．

［2］钟登华．新工科建设的内涵与行动［J］．高等工程教育研究，2017(3)．

［3］蒋宗礼．新工科建设背景下的计算机类专业改革养［J］．中国大学教学，2018( 11) ．

［4］The Joint IEEE Computer Society/ACM Task Force onComputing Curricula Computing Curricula 2001 ComputerScience［DB / OL］． http:/ / WWW． acm． org / education /curric_vols / cc2001． pdf，2001．

［5］ACM/IEEE － CS Joint Task Force on Computing Curricula．2013． Computer Science Curricula 2013［DB / OL］． ACMPress and IEEE Computer Society Press． DOI: http: / / dx．doi． org /10． 1145 /2534860．

［6］中国计算机科学与技术学科教程2002研究组．中国计算机科学与技术学科教程2002［M］．北京: 清华大学出版社，2002．

［7］张剑妹，李艳玲，吴海霞．结合计算机应用的离散数学教学研究［J］．数学学习与研究，2014(1) ．

［8］莫愿斌．凸显计算机专业特色的离散数学教学研究与实践［J］．计算机教育，2010(14)