摘要：香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。
关键字：信息概念，熵，美国数学家香农
参考书目：1。《信息论》 南丰公益书院；
2．《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）；
3．《安全工程大辞典》（化学工业出版社，1995年11月出版）(安全文化网)；
4．部分资料摘取自互联网。
（一）信息的内涵
1948—1949年，美国数学家香农（C.E.Shannon）发表了《通信的数学理论》和《在噪声中的通信》两篇论文，提出了度量信息的数学公式，标志着信息论这门学科的诞生。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。它是关于事物运动状态的规律的表征，其特点是：
（1）信息源于物质运动，又不是物质和运动；（2）信息具有知识的秉性，是任何一个系统的组织程度和有序程度的标志；（3）只有变化着的事物和运动着的客体才会有信息，孤立静止的客体或永不改变的事物不会有信息；（4）信息不遵守物质和能量的“守恒与转化定律”, 同样的信息，大家可以共同使用，信息不会减少，相同的信息，能够用不同物质载体进行传播，同一种物质，也可以携带不同的信息，信息不会变化。
信息论是一门研究信息传输和信息处理系统中一般规律的学科。香农在他的《通讯的数学理论》中明确提出：“通讯的基本问题是在通讯的一端精确地或近似地复现另一端所挑选的消息。”
信息是“人们在选择一条消息时选择的自由度的量度”。消息所带的信息可以解释为负熵，即概率的负对数。威沃尔指出，‘信息’一词在此理论中只在一种专门的意义上加以使用，我们一定不要把它和其通常用法混淆起来”。也就是说，这里的信息不是我们通常使用的概念（各种消息、情报和资料的总称），而是一个变量，它表示信息量的大小。而信息量则是某种不确定性趋向确定的一种量度，消息的可能性越大，信息就越少。如果一个系统是有序的，它不具有很高的混乱度或选择度，其信息（或熵）是低的。
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性,每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。
（二）信息论发展历史
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。
熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。
信息量=系统状态原有的熵-系统状态确定后的熵
电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。
信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。
1949年，香农和韦弗提出了有关传播的数学模式。
信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿
噪声—>信道
对上图的概念解释如下：
信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。
编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。
信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。
噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。
译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。
信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。
作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。
香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。
电子信息工程专业毕业论文（设计）大纲
课程编号：
课内学时：16 周 学分数：
一，毕业论文（设计）目的与要求
1, 毕业论文（设计）目的：
提高学生对工作认真负责、一丝不苟，对国家、集体无私奉献，对同事友爱团结、协作攻关，对事物能潜心考察，勇于开拓，勇于实践的基本素质。
培养学生勇于探索，严谨推理，实事求是，有过必改，用实践来检验理论、全方
位地考虑问题等科学技术人员应具有的素质。
培养学生综合运用所学知识独立完成课题的工作能力。
培养学生从文献，科学实验，生产实践和调查研究中获取知识的能力，提高学生从别人经验，从其他学科找到解决问题的新途径的悟性。
培养学生根据条件变化而调整工作重点的应变能力。
对学生的知识面，掌握知识的深度，运用理论去处理问题的能力，实验能力，外语水平计算机运用水平，书面及口头表达能力进行考核。
为学生能否毕业，能否取得学士学位提供必要的依据。
力争为社会作出贡献。
2, 毕业论文（设计）要求
通过毕业设计对学生进行综合运用所学知识去解决实际问题的训练，使学生的科学实验和工程实践技能的水平，独立工作能力有所提高。
毕业论文（设计）应该在教学计划所规定的时限内完成
既可以一个学生一个课题；也可以多名学生采取分工负责的办法，共同完成一个大的课题；还可以前后几届学生连续攻关，共同完成。
毕业论文（设计）完成后，学生提交毕业论文，毕业论文必须符合有关规定的要求。
为考核学生的外语水平及阅读外文资料的能力，按教育部的规定，学生需上交5000汉字的译文，并附交原文，译文内容应与课题紧密相关。
二，毕业论文（设计）的安排
毕业设计（论文）通常按照下列程序予以实施：
取得课题；对课题进行剖析，明确其要求及预期成果，规划出步骤及工作程序；进行实验或工程实践；中间检查；用所学知识对结论予以分析及整理。完成文字材料后，请指导老师审阅；改稿、定稿和打印；评委阅读毕业设计（论文），写出书面意见；答辩。
三，不同类型的毕业论文（设计）基本特点和要求
1, 工程型：
工程型毕业设计，具有硬件设计和软件设计两种类型。
硬件课题的特点是以硬件实体来体现毕业设计的成果。例如，课题要求在PC计算机上做一块接口卡，这块卡就是毕业设计成果。该课题的主要工作有以下几个方面：
选择核心电路的主要芯片；设计接口电路，并尽量选用芯片；考虑软件与硬件分工，设计总体电路；画印刷板电路图，并考虑相应结构；
所谓软件设计是指利用成熟的技术和产品，完成工程技术要求的设计。这一类型的设计是根据设计任务书中的要求，对现场、有关的产品设备及仪表等进行调研之后，通过计算，落实到设备的选型配套、施工图纸的绘制及对施工要求、投资的说明上，最后写出设计报告。这类课题需要阅读大量资料，有时要进行实地勘查，现场测试，而后才能完成。此外，计算机软件开发、设计也属于工程型设计，例如在信息处理以及通信网中就有很多这种类型的毕业课题，数据库、数据管理及处理系统就是其中的主要内容。这些软件课题则以围绕要求实现的功能编写出若干程序，来体现设计成果的题目。
2, 科研型：
这种课题一般来自教师所承担的科研项目，把其中的一些子课题作为毕业设计课题让学生来做。这类课题有一定难度，要求比较高，往往是几个同学配合起来共同完成一个完整的项目，有时还需要几届毕业设计连续几年才能完成，这样就出现一个如何继承往届成果及前后几届同学如何配合的问题，但这种协调配合对同学将来的工作是大有好处的。完成这类课题需要有较好的理论基础和外语水平，以及较强的独立工作能力。
3, 理论型：
本专业的若干个方向都有理论工作可以做。
如：信息论、信号理论与信号处理方向：有通信体制的比较，编译码的分析等。是偏重数学的课题，选这方面课题的学生要有较好的数学基础。
如：电子电路与电路系统方向： 有网络综合问题，反射功放交调分析等。选这方面课题的学生对电路要有较好的理论基础。
搞理论方面的课题时，一般先根据具体条件建立一个数学模型，推导出相应的表达式，利用计算机计算出结果并画出各种曲线，然后对结果和曲线加以分析，再提出结论性意见。
四，成绩评定
1, 成绩的等次及评定方法
毕业论文（设计）的成绩分为优秀，良好，中等，及格和不及格五个等级。
毕业论文（设计）的评定方法是指导教师，评阅教师和答辩委员会的三项成绩按照3:3:4的 原则加权计算求得。
2,评分标准及原则
（1）、指导老师用毕业论文（论文）成绩评审标准
调查论证：能独立查阅文献和从事其他调研；能正确翻译外文资料；能提出并较好地论述课题的实施方案；有收集加工各种信息及获取新知识的能力。
实验方案设计与实验技能：能正确设计实验方案，独立进行实验工作，如设备安装，调试和操作等。
分析与解决问题的能力：能运用所学知识和技能去发现和解决实际问题；能正确处理实验数据；能对课题进行理论分析，能得出有价值得结论。
工作量、工作态度：按期圆满完成规定的任务，工作量饱满，难度较大；工作努力，遵守纪律；工作作风严谨扎实。
论文（设计）质量：综述简练完整，有简介；立论正确，论述充分，结论严谨合理；实验正确，分析，处理问题科学；文字通顺，技术用语准确，符号统一，编号齐全，书写工整规范。图表完整，整洁，正确；设计（论文）有应用价值。
创新：工作中有创新意识；对前人工作有改进和突破，或有独特见解。
（2）评阅人用毕业论文（设计）成绩评审标准
翻译资料，综述材料：查阅文献有一定的广泛性；翻译外文资料的质量好；有综合归纳资料的能力和有自己的见解。
文章质量：综述简练完整，有简介；立论正确，论述充分，结论严谨合理；实验正确，分析，处理问题科学；文字通顺，技术用语准确，符号统一，编号齐全，书写工整规范。图表完整，整洁，正确；设计（论文）有应用价值。
工作量，难度：工作量饱满，难度较大
创新：对前人工作有改进和突破，或有独特见解。
（3）答辩委员会用毕业论文（设计）成绩评审标准
报告内容：思路清晰；语言表达准确，概念清楚，论点正确；实验方法科学，分析归纳合理；结论严谨；论文（设计）有应用价值。
创新：对前人工作有改进和突破，或有独特见解。
答辩：回答问题有理论依据，基本概念清楚。主要问题回答准确，深入。
报告时间：符合要求。
（4）毕业设计（论文）评分标准
分析、计算、论证：1、综合分析的正确、合理性；2.设计，计算的正确性；3.方案论证的充分性；
结构，建模，实验：1、设计（论文）的正确合理性；2、数模建立的正确，合理性；3.实验方案的合理性和数据的可靠性；
说明书的书写质量：1.条理清楚，文理通顺，用语符合技术规范；2.字迹工整，图表清楚；3、书写格式规范化。
图纸质量：1、结构合理，工艺可行；2.图纸的绘制与技术要求符合国家标准；3.图面质量及制图的工作量符合要求。
译文：1.翻译准确，通顺；2.文字流畅。
创新：1.有重大改进或有独特见解；2、有一定应用价值。
答辩：1、论述思路清晰、表达清楚；2.回答正确，深入，有逻辑性。
《信息论与编码》，专业基础课，4学时/周；四届，180人
《信息论基础》，专业必修课，4学时/周；五届，1000人
《电子信息工程专业导论》，专业必修课，4学时/周；二届，400人
《信息论与编码》（研究生），专业必修课，4学时/周；五届，200人
《多媒体信息压缩与编码》（博士研究生），专业必修课，2学时/周；二届，12人
承担的实践性教学
本科课程设计，45人/年
本科生毕业设计，5人/年
硕士生毕业论文，6人/年
博士生毕业论文，2人/年
主持的教学研究课题
考试成绩评定方法研究，合肥工业大学教学研究项目，2005-2006，主持
信息安全专业的教学与实践研究，安徽省教育厅教学重点研究项目，2003-2006，第二主持
计算机科学与技术专业实践教学与创新体系研究，安徽省教育厅教学重点研究项目，2007-2009，主要参与
计算机科学与技术专业本科教学课程体系建设与改革研究，安徽省教育厅省级教学研究项目，2005-2007，主要参与
发表的教学相关论文
培养具有高尚道德的拔尖人才，研究生教育，2001年
卷积编码原理的解释，电气电子教学学报，2007年
一种BCH/CRC混合差错控制编码方法，第17届计算机科学与技术应用学术会议论文集，2006年
一种改进的等范数最近邻码本矢量搜索算法，合肥工业大学学报(自然科学版)，2007年
部分国外电子信息类教材编写特点，合肥工业大学学报(社会科学版)，2007年
获得的教学表彰/奖励
安徽省教学名师，安徽省教育厅，2007年
安徽省优秀教师，安徽省教育厅，2004年
国家政府特殊津贴，国务院，1997年
第二届TI中国DSP大奖赛“特殊贡献奖”，竞赛组织委员会，2006年
第二届TI中国DSP大奖赛算法组一等奖的指导教师，2006年
第三届TI中国DSP大奖赛系统组一等奖的指导教师，2008年
第五届“挑战杯”全国大学生课外学术科技作品竞赛“园丁奖”，竞赛组织委员会，1997年
首届安徽省大学生挑战杯课外学术科技作品竞赛一等奖的指导教师，2005年
合肥工业大学本科毕业设计（论文）优秀指导教师，合肥工业大学，2006年
