摘要：香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。
关键字：信息概念，熵，美国数学家香农
参考书目：1。《信息论》 南丰公益书院；
2．《安全科学技术百科全书》（中国劳动社会保障出版社，2003年6月出版）；
3．《安全工程大辞典》（化学工业出版社，1995年11月出版）(安全文化网)；
4．部分资料摘取自互联网。
（一）信息的内涵
1948—1949年，美国数学家香农（C.E.Shannon）发表了《通信的数学理论》和《在噪声中的通信》两篇论文，提出了度量信息的数学公式，标志着信息论这门学科的诞生。信息论主要研究信息的本质和度量方法。它是系统论和控制论的理论基础，也是信息科学的理论基础。它是关于事物运动状态的规律的表征，其特点是：
（1）信息源于物质运动，又不是物质和运动；（2）信息具有知识的秉性，是任何一个系统的组织程度和有序程度的标志；（3）只有变化着的事物和运动着的客体才会有信息，孤立静止的客体或永不改变的事物不会有信息；（4）信息不遵守物质和能量的“守恒与转化定律”, 同样的信息，大家可以共同使用，信息不会减少，相同的信息，能够用不同物质载体进行传播，同一种物质，也可以携带不同的信息，信息不会变化。
信息论是一门研究信息传输和信息处理系统中一般规律的学科。香农在他的《通讯的数学理论》中明确提出：“通讯的基本问题是在通讯的一端精确地或近似地复现另一端所挑选的消息。”
信息是“人们在选择一条消息时选择的自由度的量度”。消息所带的信息可以解释为负熵，即概率的负对数。威沃尔指出，‘信息’一词在此理论中只在一种专门的意义上加以使用，我们一定不要把它和其通常用法混淆起来”。也就是说，这里的信息不是我们通常使用的概念（各种消息、情报和资料的总称），而是一个变量，它表示信息量的大小。而信息量则是某种不确定性趋向确定的一种量度，消息的可能性越大，信息就越少。如果一个系统是有序的，它不具有很高的混乱度或选择度，其信息（或熵）是低的。
信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。一般把信息论分成三种不同类型：
(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息有以下性质：客观性、广泛性、完整性、专一性。首先，信息是客观存在的，它不是由意志所决定的，但它与人类思想有着必然联系。同时，信息又是广泛存在的，四维空间被大量信息子所充斥。信息的一个重要性质是完整性，每个信息子不能决定任何事件，须有两个或两个以上的信息子规则排布为完整的信息，其释放的能量才足以使确定事件发生。信息还有专一性,每个信息决定一个确定事件，但相似事件的信息也有相似之处，其原因的解释需要信息子种类与排布密码理论的进一步发现。
信息论是一门具有高度概括性、综合性，应用广泛的边缘学科。信息论是信息科学的理论基础，它是一门应用数理统计方法研究信息传输和信息处理的科学，是利用数学方法来研究信息的计量、传递、交换和储存的科学。随着科学技术的发展，信息论研究范围远远超出了通信及类似的学科，已延伸到生物学、生理学、人类学、物理学、化学、电子学、语言学、经济学和管理学等学科。
（二）信息论发展历史
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。1984年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。
香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。
熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。
信息量=系统状态原有的熵-系统状态确定后的熵
电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。
信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。
1949年，香农和韦弗提出了有关传播的数学模式。
信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿
噪声—>信道
对上图的概念解释如下：
信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。
编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。
信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。
噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。
译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。
信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。
作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。
香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。
We propose a new learning paradigm, Local to Global Learning (LGL), for Deep Neural Networks (DNNs) to improve the performance of classification problems. The core of LGL is to learn a DNN model from fewer categories (local) to more categories (global) gradually within the entire training set. LGL is most related to the Self-Paced Learning (SPL) algorithm but its formulation is different from SPL.SPL trains its data from simple to complex, while LGL from local to global. In this paper, we incorporate the idea of LGL into the learning objective of DNNs and explain why LGL works better from an information-theoretic perspective. Experiments on the toy data, CIFAR-10, CIFAR-100,and ImageNet dataset show that LGL outperforms the baseline and SPL-based algorithms.
我们为深度神经网络（DNN）提出了一种新的学习范式，即从局部到全局学习（LGL），以提高分类问题的性能。LGL的核心是在整个培训集中逐步从更少的类别（本地）学习更多的类别（全局）DNN模型。LGL与自定进度学习（SPL）算法最相关，但其形式与SPL不同。SPL将数据从简单训练到复杂，而将LGL从本地训练到全局。在本文中，我们将LGL的思想纳入了DNN的学习目标，并从信息论的角度解释了LGL为什么表现更好。对玩具数据，CIFAR-10，CIFAR-100和ImageNet数据集的实验表明，LGL优于基线和基于SPL的算法。
Researchers have spent decades to develop the theory and techniques of Deep Neural Networks (DNNs). Now DNNs are very popular in many areas including speech recognition [9], computer vision [16, 20], natural language processing [30] etc. Some techniques have been proved to be effective, such as data augmentation [32, 29] and identity mapping between layers [10, 11]. Recently, some researchers have focused on how to improve the performance of DNNs by selecting training data in a certain order, such as curriculum learning [3] and self-paced learning [17].
Curriculum learning (CL) was first introduced in 2009 by Bengio et al [3]. CL is inspired by human and animal learning which suggests that a model should learn samples gradually from a simple level to a complex level. However, the curriculum often involves prior man-made knowledge that is independent of the subsequent learning process. To alleviate the issues of CL, Self-Paced Learning (SPL) [17] was proposed to automatically generate the curriculum during the training process. SPL assigns a binary weight to each training sample. Whether or not to choose a sample is decided based on the sample’s loss at each iteration of training. Since [17], many modifications of the basic SPL algorithm have emerged. Moreover, [13] introduces a new regularization term incorporating both easiness and diversity in learning. [12] designs soft weighting (instead of binary weight) methods such as linear soft weighting and logarithmic soft weighting. [14] proposes a framework called self-paced curriculum learning (SPCL) which can exploit both prior knowledge before the training and information extracted dynamically during the training.
研究人员花费了数十年的时间来开发深度神经网络（DNN）的理论和技术。现在，DNN在很多领域都非常流行，包括语音识别[9]，计算机视觉[16、20]，自然语言处理[30]等。一些技术已被证明是有效的，例如数据增强[32、29]和层之间的身份映射[10，11]。近来，一些研究人员致力于通过按特定顺序选择训练数据来提高DNN的性能，例如课程学习[3]和自定进度学习[17]。课程学习（CL）由Bengio等人于2009年首次提出[3]。CL受人类和动物学习的启发，这表明模型应该从简单的层次逐步学习到复杂的层次。但是，课程通常涉及先前的人造知识，而这些知识与后续的学习过程无关，为了缓解CL的问题，提出了自定进度学习（SPL）[17]在培训过程中自动生成课程表。SPL将二进制权重分配给每个训练样本。是否选择样本取决于每次训练迭代时样本的损失。自[17]以来，已经出现了对基本SPL算法的许多修改。此外，[13]引入了一个新的正规化术语，在学习中兼顾了易用性和多样性。[12]设计了软加权（而不是二进制加权）方法，例如线性软加权和对数软加权。[14]提出了一种称为自定进度课程学习（SPCL）的框架，该框架可以利用训练之前的先验知识和训练期间动态提取的信息。
However, some SPL-based challenges still remain: 1) It is hard to define simple and complex levels. CL defines these levels according to prior knowledge, which needs to be annotated by human. This process is extremely complicated and time consuming, especially when the number of categories is large. Another solution is to choose simple samples according to the loss like SPL. However, the samples’ losses are related to the choice of different models and hyper-parameters, since it is likely that the loss of a sample is large for one model but small for another; 2) SPL4748 based algorithms always bring additional hyper-parameters. One must tune hyper-parameters very carefully to generate a good curriculum, which increases the difficulty of training the model.
但是，仍然存在一些基于SPL的挑战：1）很难定义简单和复杂的级别。CL根据需要由人类注释的先验知识定义这些级别。此过程极其复杂且耗时，尤其是类别数量很大时。另一种解决方案是根据损耗（如SPL）选择简单样本。但是，样本损失与选择不同的模型和超参数有关，因为一个模型的样本损失可能很大，而另一模型的损失却很小。2）基于SPL4748的算法总是带来附加的超参数。必须非常仔细地调整超参数以生成好的课程表，这增加了训练模型的难度。
To address the above two problems, we propose a new
learning paradigm called Local to Global Learning (LGL).
LGL learns the neural network model from fewer categories
(local) to more categories (global) gradually within the entire training set, which brings only one hyper-parameter (
inverse proportional to how many classes to add at each
time) to DNN. This new hyper-parameter is also easy to be
tuned. Generally, we can improve the performance of DNN
by increasing the value of the new hyper-parameter.
The intuition behind LGL is that the network is usually
better to memorize fewer categories1
and then gradually
learns from more categories, which is consistent with the
way people learn. The formulation of LGL can be better
understood by comparing it with transfer learning shown in
Figure 1. In transfer learning, the initial weights of DNNs
are transferred from another dataset. But in LGL, the initial weights of DNNs are transferred from the self-domain
without knowledge of other datasets. The traditional methods randomly initialize the weights, which do not consider
the distributions of the training data and may end up with
a bad local minimum; whereas LGL initializes the weights
which capture the distributions of the trained data. So LGL
can be also seen as an initialization strategy of DNNs. In
this paper, we explain the methodology of LGL from the
mathematical formulation in detail. Instead of concentrating on sample loss (as in SPL), we pay attention to training
DNN effectively by continually adding a new class to DNN.
There are three main contributions from this paper:
为了解决上述两个问题，我们提出了一种新的学习范式，称为本地到全球学习（LGL）。LGL在整个训练集中逐渐从较少的类别（局部）到更多的类别（全局）学习神经网络模型，这仅给DNN带来一个超参数（与每次添加多少个类成反比）。这个新的超参数也很容易调整。通常，我们可以通过增加新的超参数的值来提高DNN的性能。LGL的直觉是，网络通常可以更好地记住较少的类别1，然后逐渐从更多的类别中学习，这与人们的学习方式是一致的。通过将LGL的公式与图1所示的转移学习进行比较，可以更好地理解LGL的公式。在转移学习中，DNN的初始权重是从另一个数据集中转移的。但是在LGL中，DNN的初始权重是在不了解其他数据集的情况下从自域传递的。传统方法是随机初始化权重，这些权重不考虑训练数据的分布，最终可能会导致不良的局部最小值。而LGL会初始化权重，以捕获训练数据的分布。因此，LGL也可以视为DNN的初始化策略。在本文中，我们将从数学公式详细解释LGL的方法。我们不专注于样本丢失（如SPL），而是通过不断向DNN添加新类来关注有效地训练DNN。本文主要有三点贡献：
We propose a new learning paradigm called Local to
Global Learning (LGL) and incorporate the idea of
LGL into the learning objective of DNN. Unlike SPL,
LGL guides DNN to learn from fewer categories (local) to more categories (global) gradually within the
entire training set.
• From an information-theoretic perspective (conditional entropy), we confirm that LGL can make DNN
more stable to train from the beginning.
• We perform the LGL algorithm on the toy data,
CIFAR-10, CIFAR-100, and ImageNet dataset. The
experiments on toy data show that the loss curve of
LGL is more stable and the algorithm converges faster
than the SPL algorithm when the model or data distributions vary. The experiments on CIFAR-10, CIFAR100 and ImageNet show that the classification accuracy of LGL outperforms the baseline and SPL-based
algorithms.
我们提出了一种新的学习范式，称为本地到全球学习（LGL），并将LGL的思想纳入DNN的学习目标。与SPL不同，LGL指导DNN在整个培训集中逐步从较少的类别（本地）学习到更多的类别（全局）。•从信息理论的角度（条件熵），我们确认LGL可以使DNN从一开始就更稳定地进行训练。•我们对玩具数据，CIFAR-10，CIFAR-100和ImageNet数据集执行LGL算法。对玩具数据的实验表明，当模型或数据分布变化时，LGL的损失曲线更稳定，并且收敛速度比SPL算法快。在CIFAR-10，CIFAR100和ImageNet上进行的实验表明，LGL的分类精度优于基线和基于SPL的算法。
SPL has been applied to many research fields. [24] uses SPL for long-term tracking problems to automatically select right frames for the model to learn. [28] integrates the SPL method into multiple instances learning framework for selecting efficient training samples. [27] proposes multi-view SPL for clustering which overcomes the drawback of stuck in bad local minima during the optimization. [31] introduces a new matrix factorization framework by incorporating SPL methodology with traditional factorization methods. [8] proposes a framework named self-paced sparse coding by incorporating self-paced learning methodology with sparse coding as well as manifold regularization. The proposed method can effectively relieve the effect of nonconvexity. [21] designs a new co-training algorithm called self-paced co-training. The proposed algorithm differs from the standard co-training algorithm that does not remove false labelled instances from training. [18] brings the ideaof SPL into multi-task learning and proposes a frameworkthat learns the tasks by simultaneously taking into consideration the complexity of both tasks and instances per task.
Recently, some researchers have combined SPL withmodern DNNs. [19] proposes self-paced convolutional network (SPCN) which improves CNNs with SPL for enhancing the learning robustness. In SPCN, each sample is assigned a weight to reflect the easiness of the sample. A dynamic self-paced function is incorporated into the learning objective of CNNs to jointly learn the parameters ofCNNs and latent weight variable. However, SPCN seemsto only work well on simple dataset like MNIST. [2] showsthat CNNs with the SPL strategy do not show actual improvement on the CIFAR dataset. [15] shows that whenthere are fewer layers in the CNN, an SPL-based algorithmmay work better on CIFAR. But when the number of layers increases, like for VGG [23], the SPL algorithm performs almost equal to that of traditional CNN training. [25]proposes a variant form of self-paced learning to improvethe performance of neural networks. However, the methodis complicated and can not be applied to large dataset likeImageNet. Based on the above analysis of SPL’s limitations, we develop a new data selection method for CNNscalled Local to Global Learning (LGL). LGL brings onlyone hyper-parameter (easy to be tuned) to the CNN and performs better than the SPL-based algorithms.
SPL已应用于许多研究领域。[24]使用SPL解决长期跟踪问题，以自动选择合适的框架供模型学习。[28]将SPL方法集成到多个实例学习框架中，以选择有效的训练样本。[27]提出了一种用于聚类的多视图SPL，它克服了优化过程中卡在不良局部极小值中的缺点。[31]通过将SPL方法与传统因式分解方法相结合，引入了新的矩阵因式分解框架。文献[8]提出了一种框架，该框架通过将自定进度的学习方法与稀疏编码以及流形正则化相结合，提出了自定进度的稀疏编码。所提出的方法可以有效地缓解不凸性的影响。[21]设计了一种新的协同训练算法，称为自定步距协同训练。提出的算法与标准的协同训练算法不同，后者不会从训练中删除错误标记的实例。[18]将SPL的思想带入了多任务学习，并提出了一个通过同时考虑任务和每个任务实例的复杂性来学习任务的框架。
最近，一些研究人员将SPL与现代DNN相结合。文献[19]提出了一种自定速度的卷积网络（SPCN），它利用SPL改进了CNN，从而增强了学习的鲁棒性。在SPCN中，为每个样本分配了权重以反映样本的难易程度。动态自定步函数被纳入CNN的学习目标，以共同学习CNN的参数和潜在权重变量。但是，SPCN似乎只能在像MNIST这样的简单数据集上很好地工作。[2]显示，采用SPL策略的CNN在CIFAR数据集上并未显示出实际的改进。[15]表明，当CNN中的层数较少时，基于SPL的算法在CIFAR上可能会更好地工作。但是，当层数增加时，例如对于VGG [23]，SPL算法的性能几乎与传统CNN训练的性能相同。[25]提出了一种自定进度学习的变体形式，以提高神经网络的性能。但是，该方法很复杂，不能应用于像ImageNet这样的大型数据集。基于以上对SPL局限性的分析，我们为CNN开发了一种新的数据选择方法，称为本地到全球学习（LGL）。LGL仅给CNN带来一个超参数（易于调整），并且比基于SPL的算法性能更好。
There are still two learning regimes similar to our workcalled Active Learning [6] and Co-training [4] which also select the data according to some strategies. But in active learning, the labels of all the samples are not known when the samples are chosen. Co-training deals with semisupervised learning in which some labels are missing. Thus,these two learning regimes differ in our setting where the labels of all the training data are known.
仍然有两种与我们的工作类似的学习方式称为主动学习[6]和联合训练[4]，它们也根据某些策略选择数据。但是在主动学习中，选择样本时不知道所有样本的标签。联合培训涉及缺少某些标签的半监督学习。因此，这两种学习方式在我们设置所有训练数据的标签的环境中是不同的。
3.self-Paces Learning
Let us first briefly review SPL before introducing LGL.
Let L(yi, g(xi, w)) denote the loss of the ground truth label yi and estimated label g(xi, w), where w represents theparameters of the model. The goal of SPL is to jointlylearn the model parameters w and latent variable v =[vi, . . . , vn]T by minimizing:
在介绍LGL之前，让我们首先简要回顾一下SPL。令L（yi，g（xi，w））表示地面真值标签yi和估计标签g（xi，w）的损失，其中w表示模型的参数。SPL的目标是共同学习模型参数w和潜在变量v = [vi，...，vn] T通过最小化：
In the above, v denotes the weight variables reflecting the samples’ importance; λ is a parameter for controlling the learning pace; f is called the self-paced function which controls the learning scheme. SPL-based algorithms are about to modify f to automatically generate a good curriculum during the learning process.In the original SPL algorithm [17], v ∈ {0, 1}^n, and fis chosen as:
Another popular algorithm is called SPLD (self-paced
learning with diversity) [13] which considers both ||v||1 and
the sum of group-wise ||v||2. In SPLD, f is chosen as:
In general, iterative methods like Alternate Convex Search (ACS) are used to solve (1), where w and v are optimized alternately. When v is fixed, we can use existing supervised learning methods to minimize the first term in (1) to obtain the optimal w∗. Then when w is fixed,and suppose f is adopted from (2), the global optimum v∗= [vi∗, . . . , vn*]T can be explicitly calculated as:
通常，使用迭代方法（如交替凸搜索（ACS））求解（1），其中w和v交替优化。当v固定时，我们可以使用现有的有监督学习方法来最小化（1）中的第一项，以获得最佳w ∗。然后，当w固定时，假设从（2）中采用f，则全局最优v ∗ = [v ∗ i，。。。，v ∗ n] T可以明确地计算为：
From (4), λ is a parameter that determines the difficulty of sampling the training data: When λ is small, ‘easy’ samples with small losses are sent into the model to train; When we gradually increase λ, the ‘complex’ samples will be provided to the model until the entire training set is processed.From the above analysis, the key step in an SPL algorithm is to adjust the hyper-parameter λ at each iteration of training. In reality, however, we do not know the loss of each sample before training. Therefore sometimes one needs to run a baseline (a training algorithm without SPL)
first to observe the average loss at each iteration and then set an empirical value for λ to increase. For more complex algorithms like SPLD from (3), researchers must control two parameters λ and γ, which makes the training difficult. To avoid the difficulty of tuning parameters in the SPL-based algorithms, we introduce our easy-to-train LGL algorithm.
从（4）中，λ是一个参数，它确定对训练数据进行采样的难度：当λ较小时，将损失较小的“简单”样本发送到模型中进行训练；当我们逐渐增加λ时，将向模型提供“复杂”样本，直到处理完整个训练集为止。根据以上分析，SPL算法中的关键步骤是在每次训练迭代时调整超参数λ。但是，实际上，我们不知道训练前每个样本的损失。因此，有时需要先运行基线（无SPL的训练算法）以观察每次迭代的平均损耗，然后为λ设置一个经验值以增加。对于（3）中的SPLD等更复杂的算法，研究人员必须控制两个参数λ和γ，这使训练变得困难。为了避免在基于SPL的算法中调整参数的困难，我们引入了易于训练的LGL算法。
数学小论文一
关于“0”
0，可以说是人类最早接触的数了。我们祖先开始只认识没有和有，其中的没有便是0了，那么0是不是没有呢？记得小学里老师曾经说过“任何数减去它本身即等于0，0就表示没有数量。”这样说显然是不正确的。我们都知道，温度计上的0摄氏度表示水的冰点（即一个标准大气压下的冰水混合物的温度），其中的0便是水的固态和液态的区分点。而且在汉字里，0作为零表示的意思就更多了，如：1）零碎；小数目的。2）不够一定单位的数量……至此，我们知道了“没有数量是0，但0不仅仅表示没有数量，还表示固态和液态水的区分点等等。”
“任何数除以0即为没有意义。”这是小学至中学老师仍在说的一句关于0的“定论”，当时的除法（小学时）就是将一份分成若干份，求每份有多少。一个整体无法分成0份，即“没有意义”。后来我才了解到a/0中的0可以表示以零为极限的变量（一个变量在变化过程中其绝对值永远小于任意小的已定正数），应等于无穷大（一个变量在变化过程中其绝对值永远大于任意大的已定正数）。从中得到关于0的又一个定理“以零为极限的变量，叫做无穷小”。
“105、203房间、2003年”中，虽都有0的出现，粗“看”差不多；彼此意思却不同。105、2003年中的0指数的空位，不可删去。203房间中的0是分隔“楼（2）”与“房门号（3）”的（即表示二楼八号房），可删去。0还表示……
爱因斯坦曾说：“要探究一个人或者一切生物存在的意义和目的，宏观上看来，我始终认为是荒唐的。”我想研究一切“存在”的数字，不如先了解0这个“不存在”的数，不至于成为爱因斯坦说的“荒唐”的人。作为一个中学生，我的能力毕竟是有限的，对0的认识还不够透彻，今后望（包括行动）能在“知识的海洋”中发现“我的新大陆”。
数学小论文二
各门科学的数学化
数学究竟是什么呢？我们说，数学是研究现实世界空间形式和数量关系的一门科学．它在现代生活和现代生产中的应用非常广泛，是学习和研究现代科学技术必不可少的基本工具．
同其他科学一样，数学有着它的过去、现在和未来．我们认识它的过去，就是为了了解它的现在和未来．近代数学的发展异常迅速，近30多年来，数学新的理论已经超过了18、19世纪的理论的总和．预计未来的数学成就每“翻一番”要不了10年．所以在认识了数学的过去以后，大致领略一下数学的现在和未来，是很有好处的．
现代数学发展的一个明显趋势，就是各门科学都在经历着数学化的过程．
例如物理学，人们早就知道它与数学密不可分．在高等学校里，数学系的学生要学普通物理，物理系的学生要学高等数学，这也是尽人皆知的事实了．
又如化学，要用数学来定量研究化学反应．把参加反应的物质的浓度、温度等作为变量，用方程表示它们的变化规律，通过方程的“稳定解”来研究化学反应．这里不仅要应用基础数学，而且要应用“前沿上的”、“发展中的”数学．
再如生物学方面，要研究心脏跳动、血液循环、脉搏等周期性的运动．这种运动可以用方程组表示出来，通过寻求方程组的“周期解”，研究这种解的出现和保持，来掌握上述生物界的现象．这说明近年来生物学已经从定性研究发展到定量研究，也是要应用“发展中的”数学．这使得生物学获得了重大的成就．
谈到人口学，只用加减乘除是不够的．我们谈到人口增长，常说每年出生率多少，死亡率多少，那么是否从出生率减去死亡率，就是每年的人口增长率呢？不是的．事实上，人是不断地出生的，出生的多少又跟原来的基数有关系；死亡也是这样．这种情况在现代数学中叫做“动态”的，它不能只用简单的加减乘除来处理，而要用复杂的“微分方程”来描述．研究这样的问题，离不开方程、数据、函数曲线、计算机等，最后才能说清楚每家只生一个孩子如何，只生两个孩子又如何等等．
还有水利方面，要考虑海上风暴、水源污染、港口设计等，也是用方程描述这些问题再把数据放进计算机，求出它们的解来，然后与实际观察的结果对比验证，进而为实际服务．这里要用到很高深的数学．
谈到考试，同学们往往认为这是用来检查学生的学习质量的．其实考试手段（口试、笔试等等）以及试卷本身也是有质量高低之分的．现代的教育统计学、教育测量学，就是通过效度、难度、区分度、信度等数量指标来检测考试的质量．只有质量合格的考试才能有效地检测学生的学习质量．
至于文艺、体育，也无一不用到数学．我们从中央电视台的文艺大奖赛节目中看到，给一位演员计分时，往往先“去掉一个最高分”，再“去掉一个最低分”．然后就剩下的分数计算平均分，作为这位演员的得分．从统计学来说，“最高分”、“最低分”的可信度最低，因此把它们去掉．这一切都包含着数学道理．
我国著名的数学家关肇直先生说：“数学的发明创造有种种，我认为至少有三种：一种是解决了经典的难题，这是一种很了不起的工作；一种是提出新概念、新方法、新理论，其实在历史上起更大作用的、历史上著名的正是这种人；还有一种就是把原来的理论用在崭新的领域，这是从应用的角度有一个很大的发明创造．”我们在这里所说的，正是第三种发明创造．“这里繁花似锦，美不胜收，把数学和其他各门科学发展成综合科学的前程无限灿烂．”
正如华罗庚先生在1959年5月所说的，近100年来，数学发展突飞猛进，我们可以毫不夸张地用“宇宙之大、粒子之微、火箭之速、化工之巧、地球之变、生物之谜、日用之繁等各个方面，无处不有数学”来概括数学的广泛应用．可以预见，科学越进步，应用数学的范围也就越大．一切科学研究在原则上都可以用数学来解决有关的问题．可以断言：只有现在还不会应用数学的部门，却绝对找不到原则上不能应用数学的领域．
数学小论文三
数学是什么
什么是数学？有人说：“数学，不就是数的学问吗？”
这样的说法可不对。因为数学不光研究“数”，也研究“形”，大家都很熟悉的三角形、正方形，也都是数学研究的对象。
历史上，关于什么是数学的说法更是五花八门。有人说，数学就是关联；也有人说，数学就是逻辑，“逻辑是数学的青年时代，数学是逻辑的壮年时代。”
那么，究竟什么是数学呢？
伟大的革命导师恩格斯，站在辩证唯物主义的理论高度，通过深刻分析数学的起源和本质，精辟地作出了一系列科学的论断。恩格斯指出：“数学是数量的科学”，“纯数学的对象是现实世界的空间形式和数量关系”。根据恩格斯的观点，较确切的说法就是：数学——研究现实世界的数量关系和空间形式的科学。
数学可以分成两大类，一类叫纯粹数学，一类叫应用 数学。
纯粹数学也叫基础数学，专门研究数学本身的内部规律。中小学课本里介绍的代数、几何、微积分、概率论知识，都属于纯粹数学。纯粹数学的一个显著特点，就是暂时撇开具体内容，以纯粹形式研究事物的数量关系和空间形式。例如研究梯形的面积计算公式，至于它是梯形稻田的面积，还是梯形机械零件的面积，都无关紧要，大家关心的只是蕴含在这种几何图形中的数量关系。
应用数学则是一个庞大的系统，有人说，它是我们的全部知识中，凡是能用数学语言来表示的那一部分。应用数学着限于说明自然现象，解决实际问题，是纯粹数学与科学技术之间的桥梁。大家常说现在是信息社会，专门研究信息的“信息论”，就是应用数学中一门重要的分支学科， 数学有3个最显著的特征。
高度的抽象性是数学的显著特征之一。数学理论都算有非常抽象的形式，这种抽象是经过一系列的阶段形成的，所以大大超过了自然科学中的一般抽象，而且不仅概念是抽象的，连数学方法本身也是抽象的。例如，物理学家可以通过实验来证明自己的理论，而数学家则不能用实验的方法来证明定理，非得用逻辑推理和计算不可。现在，连数学中过去被认为是比较“直观”的几何学，也在朝着抽象的方向发展。根据公理化思想，几何图形不再是必须知道的内容，它是圆的也好，方的也好，都无关紧要，甚至用桌子、椅子和啤酒杯去代替点、线、面也未尝不可，只要它们满足结合关系、顺序关系、合同关系，具备有相容性、独立性和完备性，就能够构成一门几何学。
体系的严谨性是数学的另一个显著特征。数学思维的正确性表现在逻辑的严谨性上。早在2000多年前，数学家就从几个最基本的结论出发，运用逻辑推理的方法，将丰富的几何学知识整理成一门严密系统的理论，它像一根精美的逻辑链条，每一个环节都衔接得丝丝入扣。所以，数学一直被誉为是“精确科学的典范”。
广泛的应用性也是数学的一个显著特征。宇宙之大，粒子之微，火箭之速，化工之巧，地球之变，生物之谜，日用之繁，无处不用数学。20世纪里，随着应用数学分支的大量涌现，数学已经渗透到几乎所有的科学部门。不仅物理学、化学等学科仍在广泛地享用数学的成果，连过去很少使用数学的生物学、语言学、历史学等等，也与数学结合形成了内容丰富的生物数学、数理经济学、数学心理学、数理语言学、数学历史学等边缘学科。
各门科学的“数学化”，是现代科学发展的一大趋势。
给你 选了几篇
