发布时间：
下的拼音：xià。
部首一部，部外笔画2画，总笔画3画。
五笔GHI，仓颉MY，郑码AID，四角10230。
结构单一，电码0007，区位4734，统一码4E0B。
基本字义：
1、位置在低处的，与“上”相对：下层。下款。
2、等级低的：下级。下品。下乘（佛教用语，一般借指文学艺术的平庸境界或下品）。下里巴人（泛指通俗的普及的文学艺术，常与“阳春白雪”对举）。
3、方面，方位：两下都同意。
4、次序或时间在后的：下卷。下次。下限。
5、由高处往低处，降落：下山。下车。下马。下达。
6、使降落：下半旗。下棋。
7、进入：下海。
相关组词：
水下[shuǐ xià]
水面以下。
下手[xià shǒu]
（动）动手；开始做：无从～。（名）助手。
低下[dī xià]
（形）（生产水平、经济地位等）在一般标准之下的。
下巴[xià ba]
（名）下颌的通称。颏的通称。
下级[xià jí]
指在同一组织系统中级别低的人员或组织。
通过优化的标准神经网络训练（从概率的角度来看）等同于权重的最大似然估计（MLE）。由于许多原因，这往往是不能令人满意的 —— 使用 MLE 会忽略在适当的权重值中可能存在的任何不确定性，即无法正确评估训练数据中的不确定性，从实际的角度来看，这种类型的训练容易出现过拟合现象。
对此的一个解决方案是引入正则化（从贝叶斯的角度来看，这相当于在权重上引入先验）。如果我们可以通过规范模型来解决过度自信决策和防止模型过度拟合的问题，那为什么我们需要贝叶斯神经网络？答案是： 当前神经网络架构中缺少预测中的不确定性度量，但贝叶斯神经网络将其纳入其中 。BNN 在特定环境中很重要，特别是当我们非常关心不确定性时，贝叶斯方法自然地解释了参数估计中的不确定性，并且可以将这种不确定性传播到预测中。
深度神经网络已成功应用于许多领域，包括非常敏感的领域，如医疗保健，安全性，欺诈性交易等等。这些领域在很大程度上依赖于模型的预测准确性，甚至一个过度自信的决策也可能导致一个大问题。此外，这些领域具有非常不平衡的数据集（百万个交易中的一个是欺诈性交易，百分之五的癌症检测结果是阳性，不到百分之一的电子邮件是垃圾邮件），容易导致该模型过度拟合。
从概率论的角度来看，使用单点估计权重以进行分类是不合理的。而贝叶斯神经网络对于过拟合更加鲁棒，并且可以从小数据集中轻松学习。 贝叶斯方法将其参数以概率分布的形式表示以提供不确定性估计；同时，通过使用先验概率分布的形式来表示参数，训练期间在许多模型上计算平均值，这给网络提供了正则化效果，从而防止过度拟合 。
在标准神经网络中，权重由单个点表示。 而贝叶斯神经网络以分布形式表示权重，如下图所示：
即使使用少量参数，在贝叶斯神经网络中推断后验模型也是一项艰巨的任务，因此通常使用后验模型的近似值，变分推理是一种流行的方法。人们将使用简单的变分分布（例如高斯分布）对后验进行模拟，并尝试调整分布的参数使其尽可能接近真实的后验 —— 通过最小化这种简单变分分布和真实后验之间的 KL 散度来完成。
但是用于逼近 BNN 后验的变分方法在计算上可能相当昂贵，因为使用近似分布会大大增加模型参数的数量，但不会大幅增加模型容量。例如，使用 BNN 后验近似的高斯分布，模型参数的数量增加了一倍，但报告了与使用丢失的传统方法相同的预测性能。 这使得该方法在实践中不适合与 CNN 一起使用，因为参数数量的增加太昂贵。
关于神经网络权重的精确贝叶斯推断是难以处理的，因为参数的数量非常大，并且神经网络的函数形式不适合精确积分。 因此，我们用变分概率分布 q θ (w | D) 逼近难以处理的真实后验概率分布 p(w | D)，它包括高斯分布的性质 μ∈ℝ d 和 σ∈ℝ d ，表示为 N（θ | μ，σ²），其中 d 是定义概率分布的参数总数。 这些高斯变分后验概率分布的形状由它们的方差 σ² 确定，表示每个模型参数的不确定性估计。
在观察数据之前定义先验概率分布，一旦观察到数据（训练数据），学习就发生并且分布变换为后验分布。 利用概率论从数据中学习构成了贝叶斯学习的基础。贝叶斯定理如下：
P(θ | x) 为后验概率，也是我们想要计算的；P(θ) 为先验概率，在训练数据之前就是已知的；P(x | θ) 为可能性，显示了数据分布；P(x) 为证据，我们只能通过对所有可能的模型值积分来计算其值：
这使得问题变得棘手，因此我们采用变分近似来找到近似贝叶斯后验分布。
首先，我们的原始目标是，需要根据已有数据推断需要的分布 p；当 p（下图中黄色区域）不容易表达，不能直接求解时，可以尝试用变分推断的方法， 即，寻找容易表达和求解的分布 q（下图中红线和绿线构成的区域），当 q 和 p 的差距很小的时候，q 就可以作为 p 的近似分布，成为输出结果了。例如，我们用 q θ (w | D) 来近似 p(w | D)。首先注意 q θ (w | D) 的表达，其中 w 是变量，θ 是后验概率分布 q 的参数。所以在构造 q 的时候也分两步：第一，概率分布的选择；第二，参数的选择。第一步，我们在选择 q 的概率分布时，通常会直观选择 p 可能的概率分布，这样能够更好地保证 q 和 p 的相似程度。例如高斯混合模型中，原始假设 p 服从高斯分布，则构造的 q 依然服从高斯分布。之后，我们通过改变 θ，使得 q 不断逼近 p。
我们希望尽可能接近真正的分布，这可以通过最小化两者之间的 Kullback-Liebler（KL）散度来做到这一点。然而 KL 的表达式中依然有一部分不可求的后验概率，这个问题仍然是棘手的，所以用到了 ELBO：
但是由于积分的存在，这个公式仍然难以解决。此时，我们可以从近似函数 q θ (w | D) 中进行采样，因为从近似函数中采样权值要比真正的后验函数 p(w | D) 更容易。这样得到容易计算的函数：
这些采样权值 w 被用于神经网络的反向传播，学习后验分布。
贝叶斯建模中，存在两种类型的不确定：偶然不确定性和认知不确定性。
可以通过在模型参数或模型输出上放置概率分布来估计不确定性 。通过在模型的权重上放置先验分布，然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。另一方面，通过在模型的输出上放置分布来模拟偶然不确定性。
传统神经网络常使用反向传播来训练。对于 BNN，其自然地解释了参数估计中的不确定性，并且可以将这种不确定性传播到预测结果中；此外，对参数值进行取平均而不是仅选择单点估计值使得模型不易出现过拟合。因此，对 BNN 参数的训练也需要特殊的训练方法，Bayes by Backprop 就是其中一种（它也是一种变分推断）。
Bayes by Backprop 用来学习神经网络权重的概率分布。它是一种变分推理方法，用于学习神经网络权重 w ~ q θ (w | D) 的后验分布，可以在反向传播中对权重 w 进行采样。整个方法可归纳如下：
由于参数数目较大，所以需要对模型权重进行适当的修剪。模型修剪减少了深度神经网络的各种连接矩阵中的稀疏性，从而减少了模型中有价值的参数的数量。模型修剪的整个想法是减少参数的数量而不会损失模型的准确性。最常用的修剪模型的方法是将低贡献权重映射到零并减少整体非零值权重的数量，可以通过训练大型稀疏模型并进一步修剪来实现。
（这部分内容摘自 一个例子搞清楚 先验分布/后验分布/似然估计 ）
给定一些数据样本 x，假定我们知道样本是从某一种分布中随机取出的，但我们不知道这个分布具体的参数 θ。
因为给定样本 x 后， p(x) 会在 θ 空间上为一个定值，和 θ 的大小没有关系，所以可以省略分母 p(x)。 可化简为：
p(x) 相当于是一个归一化项，整个公式就表示为： Posterior∝(Likelihood∗Prior)（后验概率 正比于 先验概率 ∗ 似然函数）
需要一提的是，对贝叶斯 CNN 而言，不仅在卷积层中将概率分布置于权重上，还要求在全连接层中将概率分布置于权重上。
假设权重的变分后验概率分布 q θ (w ijhw | D) = N(μ ijhw ，α ijhw μ 2 ijhw )（其中，i 和 j 分别对应输入和输出层数，h 和 w 分别对应过滤器的高度和宽度），那么卷积公式被重定义为：
其中，ε j ~ N(0，1)，A i 为过滤器在第 i 层要卷积的部分，b j 为相应的第 j 层的激活值，∗ 为卷积操作，⊙ 为元素乘法(component-wise multiplication)。
对 CNN 的权重应用概率分布而非单点值，并且要在反向传播时更新变分后验概率分布 q θ (w | D)，关键在于过滤器会执行两次卷积操作（在单点预测的 CNN 中只执行一次卷积）。
从前面的公式我们看到，卷积操作的输出 b 是期望 μ ijhw 和方差 α ijhw μ 2 ijhw 的函数，因此我们可以分别计算出 μ ijhw 和 α ijhw μ 2 ijhw 的值，从而可以得到一个高斯概率分布。方法就是执行两次卷积操作：第一次，我们将 b 视为通过频率推理更新的 CNN 的输出，将单点估计值解释为变分后验概率分布的期望；第二次，我们将得到方差。通过这种方式，我们确保每个卷积操作只更新一个参数（第一次为 μ ijhw ，第二次为 α ijhw ），这与通过频率推断更新的 CNN 完全相同。
实际上，当我们执行第一次卷积操作，我们得到的是 q θ (w | D) 的最大后验概率，而第二次卷积操作则是得出权重 w 偏离了最大后验概率多少。另外，为了加速计算，确保方差 α ijhw μ 2 ijhw 为非零正数，并提到准确度，我们学习 logα ijhw 并使用 Softplus 激活函数。
在分类任务中，我们关注的是 P D (y* | x*)；对于贝叶斯神经网络，其被表示为：
在 Bayes by Backprop 中，q θ (w | D) ~ N(w | μ, σ 2 )，而 θ = {μ, σ} 在数据集 D = {x i , y i } n i=1 的训练中学习得到。由于分类问题多是离散的，因此：
其中，Σ c f(x c ∗ | w) = 1，C 为总类数。通过从 q θ (w | D) 取样，可以获得期望值的无偏估计：
T 为样本数量。这个估计值允许我们评估预测值的不确定性，因此称为预测方差，用 Var q 表示：
这个值可以进一步分为偶然不确定性和认知不确定性：
由于贝叶斯 CNN 中的权重都由期望和方差来表示其分布，因此，相较于单点估计 CNN，贝叶斯 CNN 的参数数量翻了一倍。为了使贝叶斯 CNN 参数数量等于传统 CNN，可以使 BCNN 的过滤器数目减半。
另一种模型修剪的技术是对每层的权重使用 L1 归一化。通过 L1 归一化，我们使各模型层中的权重向量变得非常稀疏，即大部分矩阵元素变得接近零；同时，剩余的非零元素则捕获数据的最重要特征。我们设置一个阈值，如果该值低于阈值，则使权重为零。通过只保留非零权重，可以减少模型的参数数量，而不会影响模型的整体性能。
看了一些国内的论文，将贝叶斯应用于 BP 神经网络优化，往往是利用贝叶斯定理寻找最优神经网络参数，以解决神经网络权值易陷入局部最优的问题，同时也能解决神经网络过拟合。其中心思想在于： 根据给定的先验分布，利用贝叶斯定理考察神经网络参数的不确定性，从样本数据中，获得网络结构的后验概率，那么，使得该后验概率最大化的网络参数即为所需的最优参数 （我认为这其实是 MAP 而非贝叶斯估计）。最优参数定义为：
为方便计算，对后验概率取对数得到：
假设先验概率分布 p(w) 满足高斯分布：
则有：
上式中，似然函数部分对应于目标函数中的适应度函数，而先验概率部分对应于正则项，因此我们可以通过确定先验概率得到正则项，从而对神经网络的目标函数进行优化，进而有效控制网络规模，提高网络泛化能力。
后验分布是人们在获得样本数据 D 之后对参数 w 的一种调整。 贝叶斯把上一步得到的后验分布信息储存起来，在将来做推测时，上一步的后验信息就成为了先验信息 ，这样持续数次操作之后，样本数据的预测结果会一直进行调整，最后对参数估计的结果精确度更高。
神经网络中最重要的两个性能参数就是权值和阈值，而这两个参数的分布情况受到了目标函数中超参数的控制，但一般的算法不能确定超参数的取值。可以利用贝叶斯定理来求取目标函数的超参数，并且要求达到自主调节超参数取值的目标，并且通过持续的调整最后找到最优的取值，相应的确定 BP 神经网络的最优权值和阈值。
公式和特殊字符没有翻译，自己带进去看看吧，希望有帮助：非负矩阵算法因式分解丹尼尔-李贝尔实验室朗讯科技默里山，新泽西州07974H.塞巴斯蒂安承脑和齿轮系。SCI。麻省理工学院剑桥，马02138摘要非负矩阵分解（NMF）先前已被证明是一个有用的分解多元数据。两种不同的多—折扇状的NMF算法的分析。他们只是略有不同用于更新规则的乘法因子。一个算法可以以减少传统的最小二乘误差而其他广义的Kullback-Leibler散度最小化。单调的这两种算法的收敛可以使用一个辅助函数证明—法类似于用于证明的期望收敛—最大化算法。该算法也可以被解释为诊断—只要调整梯度下降，其中的缩放因子是最佳的选择以确保收敛。1引言无监督学习算法，如主成分分析和矢量量化—量化可以理解为不同约束条件下的数据矩阵分解。德—待时限制利用，产生的因素可以有非常不同的—不同的代表性的性能。主成分分析执行只有微弱的或—波函数的正交约束，导致在一个完全分布式的表示使用取消产生变异，[ 1，2 ]。另一方面，矢量量化，用硬的赢家—把所有的约束，结果聚类中的数据分为相互排斥的原型[ 3 ]。我们先前已经表明，非负矩阵分解是一个有用的约束可以学习数据中的一部分表示[ 4，5 ]。非负的基础载体，所使用的分布式，但仍然稀疏的组合产生的表现重建[ 6，7 ]。在本次提交的，我们分析了两种数值算法从数据中学习最优非负因子。2非负矩阵分解我们正式考虑算法解决以下问题：非负矩阵分解（NMF）给定一个非负矩阵fi，和非负矩阵的因素和这样：1。NMF可以应用在以下方式多元数据的统计分析。给定一组的多维数据矢量，矢量被放置在列的矩阵在哪儿是一些例子中的数据集。这矩阵，然后分解成一个近似矩阵和一个矩阵。通常选择小于或你说呢和比原来的矩阵。这个结果在一个原始数据矩阵的压缩版本。在方程近似意义fi意义是什么（1）？它可以改写柱柱在哪儿和有相应的列和。在其他的话，每个数据向量通过对列的一个线性组合近似，通过成分加权。因此可被视为含有基础这是该数据在线性近似优化。由于相对较少的基础向量来代表许多数据载体，良好的逼近，只能实现如果基础矢量数据中发现潜在的结构。本文件是不是应用NMF，而把注意力集中在技术—非负矩阵分解的finding技术方面。当然，其他类型的马—矩阵分解已在数值线性代数被广泛研究，但不—负约束使得许多以前的工作不适用于本案8。在这里，我们讨论的NMF基于迭代更新的两种算法和。因为这是很容易实现的算法及其收敛性保证，我们发现他们在实际应用中非常有用。其他的算法可能更有效fi整体计算时间充足，但也更困难fi崇拜的实现可能无法推广到不同的成本函数。我们的算法类似的地方只有一个的因素适于先前已被用于发射断层扫描的反褶积和天文图像[ 9，10，11，12 ]。在每一次迭代的算法，新的价值或被发现了一些因素，取决于情商的近似质量的电流值（1）。我们证明了近似的质量与应用单调提高这些乘法更新规则。在实践中，这意味着，反复迭代更新规则，保证收敛到局部最优矩阵分解。3的成本函数对fiNd近似因式分解首先，我们fi需要fiNE的成本函数量化近似的质量。这样的成本函数可以构造采用一些措施两个非负矩阵之间的距离和。一个有用的测量是简单的平方之间的欧氏距离这是下界的零，当且仅当地消失和13。。2。另一个有用的措施3。这也是像欧氏距离的下界的零，如果只有和消失如果。但它不能被称为一个“距离”，因为它不是对称的和，所以我们将它称为“发散”从。它减少的Kullback-Leibler距离发散，或相对熵，当你说呢和可作为归一化的概率分布。我们现在考虑NMF两种配方的优化问题：1最小化问题相对于和，受约束。2最小化问题相对于和，受约束。虽然功能和是凸的只有或只是，他们在这两个变量是不凸。因此，它是期望算法不切实际解决问题1和2在finding全局极小的感觉。然而，有许多从数值优化，可以应用于fi和局部极小的方法。梯度下降可能是实现最简单的方法，但收敛可以缓慢的。其他方法，如共轭梯度法有更快的收敛速度，至少在局部极小值附近，但更复杂的实现比梯度下降8。基于梯度的方法也很不利对步长的选择敏感，可为大型应用程序很不方便。4乘法更新规则我们发现，下面的“乘法更新规则”是一个很好的妥协在速度和易于实施的解决问题1和2。定理1的欧氏距离更新的规则下是减4。欧氏距离是不变的这些更新的当且仅当固定点的距离。和在一个定理2的分歧更新的规则下是减5。分歧是不变的这些更新的当且仅当和在一个固定的的分歧点。在后面的章节中给出了这些定理的证明。现在，我们注意到，每个更新由乘法的一个因素。特别是，它是直接看到这个乘法因子统一时，这样完美的重建是必要的一个fiXED的更新规则点。5的乘法和添加剂的更新规则这是对比这些乘法的更新与梯度下降产生有用的14。特别是，一个简单的添加剂的更新减少平方距离可写为6。如果都设置为等于一些小的正数，这相当于传统梯度下降。只要这个数是足够地小fi，更新应减少。现在如果我们对角缩放变量和设定7。我们得到的更新规则这给出了定理1。请注意，这个尺度在梯度的积极成分的派别宗教的乘法因子的结果—但是第和因子的分子的负分量的绝对值。的发散，对角缩放梯度下降的形式8。再次，如果是小的和积极的，此更新应减少。如果我们现在集9。我们得到的更新规则这给出了定理2。这种调整也可以被解释为与梯度的积极成分的乘法规则分母和负成分作为乘法因子分子。由于我们的选择不小，似乎也不能保证这样的调整梯度下降导致成本函数下降。令人惊讶的是，这是事实上的情况下，在下一节中所示。6的收敛证明为了证明定理1和定理2，我们将使用一个辅助函数类似于使用在期望最大化算法[ 15，16 ]。德fi定义1是一个辅助函数如果条件10。均fi版。辅助功能是一个有用的概念，因为下面的引理，这也是图1图示。1如果引理是一个辅助函数，然后是减下的更新11。证明：请注意，只有是一个局部最小值。如果衍生物的存在并有连续的一个小邻域内的，这也意味着衍生物。因此，通过迭代更新公式（11）我们得到一个序列估计的收敛到一个局部最小值的目的功能：12。我们将表明，德fi宁合适的辅助功能两和定理1，更新规则和2容易遵循从式（11）。分享到： 1.4万G（H，HT）F（H）HT HT＋1图1：最小化的辅助功能为。2如果引理正对角矩阵HMINH保证13。然后14。是一个辅助函数15。证明：自很明显，我们只需要表明。以做到这一点，我们比较16。利用公式（14），fi发现相当于17。118。这是一个标度的组件semidefi黑夜的当且仅当是的，和。然后是积极的19。20。21。22。23。1你也可以证明正semidefi有限考虑矩阵。然后是一个积极的特征向量随着统一的特征值，和Frobenius Perron定理的应用表明，公式17持有。分享到： 1.4万现在我们可以证明定理1的收敛性：定理1的证明替代从式（14）是一个辅助函数，在公式（11）由式（14）中的更新规则的结果：24。这是减更新规则下，根据引理1。写这个方程的成分明确，我们得到25。通过扭转的作用和引理1和2，同样可以证明是减的更新规则下。我们现在考虑以下的发散的成本函数的辅助功能：引理3 defiNE26。27。这是一个辅助函数28。证明：它是简单的验证。表明，我们使用对数函数的凸性得到的不等式29。所有非负的货舱那笔统一。设置30。我们得到的31。从这个不等式如下。定理2，然后从引理1中的应用：定理2的证明：最小的相对于通过设置梯度为零：32。因此，方程的更新规则（11）的形式33。自是一个辅助函数，在公式（28）是减下此更新。重写—十的矩阵形式，这相当于在情商的更新规则（5）。通过扭转的作用和，更新规则同样可以证明是减。7讨论我们已经证明，在情商的更新规则中的应用。（4）和（5）保证问题1和2fiNd至少局部最优解，分别。的收敛性证明依赖的fi宁适当的辅助功能。我们目前的工作这些定理推广到更复杂的约束。更新规则本身实现的计算非常简单，且可望利用别人各种各样的应用。我们承认，贝尔实验室的支持。我们也要感谢卡洛斯布洛迪，Ken克拉克森，科琳娜科尔特斯，罗兰弗氏，琳达考夫曼，晏乐村，山姆学报，拉里撒乌耳，和玛格丽特Wright有益的讨论。工具书类[ 1 ]乔利夫，它（1986）。主成分分析。纽约：斯普林格出版社。[ 2 ]土耳其，并购Pentland，一（1991）。特征脸的识别。J.认识。神经科学。3，86，71–。[ 3 ] Gersho，一个灰色，RM（1992）。矢量量化的信号压缩。中国科学院。出版社。【4】李，DD和承，HS。利用凸锥编码的无监督学习（1997）。诉讼的神经信息处理系统9会议上，515–521。【5】李，DD和承，HS（1999）。非负矩阵factoriza学习物体的部分—和灰。性质401，788–791。[ 6 ]领域，DJ（1994）。感官编码的目的是什么？神经计算。6，601，559–。[ 7 ] foldiak，P & Young，M（1995）。稀疏的灵长类动物大脑皮层的编码。该手册的大脑理论和神经网络，895–898。（麻省理工学院出版社，剑桥，MA）。[ 8 ]出版社，WH，展示，SA，维特林，重量和弗兰纳里，英国石油公司（1993）。数值方法：艺术科学计算fiC。（剑桥大学出版社，剑桥，英国）。[ 9 ]西普，La和瓦迪，Y（1982）。用于最大似然重建发射断层扫描。IEEE Transactions。113–2，122。[ 10 ]理查德森，谁（1972）。基于贝叶斯网络的迭代的图像恢复方法。J.选择。SOC。我。62，59，55–。[ 11 ]露西，LB（1974）。观察到的分布的fi阳离子的迭代技术。天文学。·74，745–754。[ 12 ]博曼，CA和绍尔，K（1996）。一个大学fiED的方法来利用坐标统计断层扫描下降的优化。IEEE Transactions。图像处理。5，492，480–。[ 13 ] paatero，P和T，U（1997）。最小二乘法制定的鲁棒非负因子分析—SIS。计量学。智能。实验37，23–35。[ 14 ] Kivinen和Warmuth，J，M（1997）。添加剂和幂梯度更新线性预测。信息与计算杂志132，1–64。[ 15 ] Dempster，Laird，AP，纳米和Rubin，DB（1977）。通过最大似然数据不完整EM算法。J.皇家统计系统。39，38，1–。[ 16 ]撒乌耳，L和佩雷拉，F（1997）。集料和混合阶马尔可夫模型的统计语言处理。C.心和R.魏谢德尔（EDS）。第二次会议录在自然语言处理中的实证方法，81–89。ACL出版社。
自己不能翻译吗
数字图像处理主要研究的内容有以下几个方面：1） 图像变换由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此，往往采用各种图像变换的方法，如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可减少计算量，而且可获得更有效的处理（如傅立叶变换可在频域中进行数字滤波处理）。目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性，它在图像处理中也有着广泛而有效的应用。2） 图像编码压缩图像编码压缩技术可减少描述图像的数据量（即比特数），以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得，也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法，它在图像处理技术中是发展最早且比较成熟的技术。3） 图像增强和复原图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。如强化图像高频分量，可使图像中物体轮廓清晰，细节明显；如强化低频分量可减少图像中噪声影响。图像复原要求对图像降质的原因有一定的了解，一般讲应根据降质过程建立"降质模型"，再采用某种滤波方法，恢复或重建原来的图像。4） 图像分割图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少边缘提取、区域分割的方法，但还没有一种普遍适用于各种图像的有效方法。因此，对图像分割的研究还在不断深入之中，是目前图像处理中研究的热点之一。5） 图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展，已经开始进行三维物体描述的研究，提出了体积描述、表面描述、广义圆柱体描述等方法。6） 图像分类（识别）图像分类（识别）属于模式识别的范畴，其主要内容是图像经过某些预处理（增强、复原、压缩）后，进行图像分割和特征提取，从而进行判决分类。图像分类常采用经典的模式识别方法，有统计模式分类和句法（结构）模式分类，近年来新发展起来的模糊模式识别和人工神经网络模式分类在图像识别中也越来越受到重视。
图像复原的方法有哪些图像恢复是从退化图像（通常是一个模糊和噪声图像）中恢复图像的过程。图像恢复是图像处理中的一个基本问题，它也为更一般的反问题提供了一个实验平台。在这里，我们必须要解决的关键问题是恢复图像的质量评价、算法计算的效率和点扩展函数(PSF)模型的参数估计。目前，常见图像复原的方法一可以分为确定性图像复原方法和随机图像复原方法两大类。确定性图像复原方法主要有正则化图像复原方法和基于偏微分方程的图像复原方法。对于图像复原中的正则化方法，早期主要使用截断奇异值分解和Tikhonov正则化方法，截断奇异值分解方法主要用来消除复原问题中的病态性，其并没引入任何原始图像的先验信息，而Tikhonov正则化方法则是将原始图像是“平滑的”这一先验信。
图像复原-模糊图像处理解决方案机器视觉智能检测 2017-06-16造成图像模糊的原因有很多，且不同原因导致的模糊图像需要不同的方法来进行处理。从技术方面来讲，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。本文将从这三方面切入剖析。智能化设备管理技术是利用系统管理平台软件的设备管理服务，对所有的监控设备包括摄像机、云台、编码器和系统服务器进行不间断的实时监测，当发现故障时能及时通过各种方式告警，提示维护人员及时处置。一个系统可以按照网络拓扑结构部署多台设备管理服务器，分区域对设备进行实时的巡检，这样可以大大提高系统的维护效率，尽可能做到在设备发生故障时，在不超过10分钟的时间内被监测到并告警。建设目标本方案拟应用先进的机器学习和计算机视觉技术，仿真人类的视觉系统，针对某市公共安全图像资源前端摄像头出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡和云台失控等常见摄像头故障以及恶意遮挡和破坏监控设备的不法行为做出准确判断，并自动记录所有的检测结果，生成报表。以便用户轻松维护市公共安全图像资源系统。技术路线将视频故障分成视频信号缺失、视频清晰度异常、视频亮度异常、视频噪声、视频雪花、视频偏色、画面冻结、PTZ运动失控八种类型。其中视频信号缺失、随着“平安城市”的广泛建设，各大城市已经建有大量的视频监控系统，虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但是在公安工作中，由于设备或者其他条件的限制，案情发生后的图像回放都存在图像不清晰，数据不完整的问题，无法为案件的及时侦破提供有效线索。经常出现嫌疑人面部特征不清晰、难以辨认、嫌疑车辆车牌模糊无法辨认等问题，这给公安部门破案、法院的取证都带来了极大的麻烦。随着平安城市的推广、各地各类监控系统建设的进一步推进，此类问题将会越来越凸显。模糊图像产生的原因造成图像模糊的原因很多，聚焦不准、光学系统的像差、成像过程中的相对运动、大气湍流效应、低光照、环境随机噪声等都会导致图像模糊。另外图像的编解码、传输过程都可能导致图像的进一步模糊。总体来说，造成图像模糊的主要原因如下：· 镜头聚焦不当、摄像机故障等;· 传输太远、视频线老化、环境电磁干扰等;· 摄像机护罩视窗或镜头受脏污、受遮挡等;· 大雾、沙尘、雨雪等恶劣环境影响;· 由视频压缩算法和传输带宽原因导致的模糊;· 摄像机分辨率低，欠采样成像;· 光学镜头的极限分辨率和摄像机不匹配导致的模糊;· 运动目标处于高速运动状态导致的运动模糊等;……模糊图像常用解决方案对于模糊图像处理技术，国内大学和科研机构在多年以前就在研究这些理论和应用，相关文献也发布了不少，已经取得了一些很好的应用。美国 Cognitech软件是相当成熟的一套模糊图像恢复应用软件，在美国FBI及其他执法机构中已有多年实际应用，其恢复出的图像可以直接当作法庭证据使用，可见模糊图像处理技术已经取得了相当的实际应用。前面提到，造成图像模糊的原因有很多，要取得比较好的处理效果，不同原因导致的模糊往往需要不同的处理方法。从技术方面来讲，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。图像增强很多传统图像算法都可以减轻图像的模糊程度，比如图像滤波、几何变换、对比度拉伸、直方图均衡、空间域锐化、亮度均匀化、形态学、颜色处理等。就单个来讲，这些算法都比较成熟，相对简单。但是对于一个具体的模糊图像，往往需要上面的一种或者多种算法组合，配合不同的参数才能达到理想的效果。这些算法和参数的组合进一步发展成为具体的增强算法，比如“图像去雾”算法、“图像去噪”算法、“图像锐化”算法、“图像暗细节增强”算法等等。这些算法都不同程度提高了图像清晰度，很大程度改善了图像质量。综合使用形态学、图像滤波和颜色处理等算法可以实现图像去雾的算法，图1是一个去雾算法的实际使用效果，类似的图像增强算法还有很多，不再一一列举。图像复原图像复原与图像增强技术一样，也是一种改善图像质量的技术。图像复原是根据图像退化的先验知识建立一个退化模型，然后以此模型为基础，采用各种逆退化处理方法逐步进行恢复，从而达到改善图像质量的目的。图像复原和图像增强是有区别的，两者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的，只有通过试探各种技术来增强图像的视觉效果，而图像复原就完全不同，需要知道图像退化过程的先验知识，据此找出一种相应的逆过程方法，从而得到复原的清晰图像。图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。对由于离焦、运动、大气湍流等原因引起的图像模糊，图像复原的方法效果较好，常用的算法包括维纳滤波算法、小波算法、基于训练的方法等。图3是使用维纳滤波解决运动模糊图像的例子，取得了很好的复原效果。在知道退化模型的情况下，相对图像增强来说，图像复原可以取得更好的效果。图像超分辨率重构现有的监控系统主要目标为宏观场景的监视，一个摄像机，覆盖一个很大的范围，导致画面中目标太小，人眼很难直接辨认。这类由于欠采样导致的模糊占很大比例，对于由欠采样导致的模糊需要使用超分辨率重构的方法。超分辨率复原是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原技术最初只对单幅图像进行处理，这种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅高分辨率复原图像。由于序列图像复原可利用帧间的额外信息，比单幅复原效果更好，是当前的研究热点。序列图像的超分辨率复原主要分为频域法和空域法两大类，频域方法的优点是：理论简单，运算复杂度低，缺点是：只局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等，而且具有很强的包含空域先验约束的能力。常用的空域法有非均匀插值法、迭代反投影方法（IBP）、凸集投影法（POCS）、最大后验估计法（MAP）、最大似然估计法 （ML）、滤波器法等，其中，MAP和POCS二方法研究较多，发展空间很大。对于具体的算法，不是本文的重点，这里不做详细介绍。图五是一个使用多帧低分辨率图像超分辨率重构的例子。模糊图像处理技术的关键和不足虽然很多模糊图像的处理方法在实际应用中取得了很好的效果，但是当前仍然有一些因素制约着模糊图像处理的进一步发展，主要如下。算法的高度针对性绝大部分的模糊图像处理算法只适用于特定图像，而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说，对于有雾的图像，“去雾算法”可以取得很好的处理效果，但是作用于正常图像，反而导致图像效果下降，“去雾算法”模块的打开或者关闭需要人工介入。算法参数复杂性模糊图像处理里面所有的算法都会包含大量的参数，这些参数的选择需要和实际的图像表现相结合，直接决定最终的处理效果。就目前的算法，还没有办法智能地选择哪些是最优的参数。算法流程的经验性由于实际图像非常复杂，需要处理多种情况，这就需要一个算法处理流程，对于一个具体的模糊视频，采用什么样的处理流程很难做到自动选择，需要人工选择一个合适的方法，只能靠人的经验。结语由于环境、线路、镜头、摄像机等影响，监控系统建成并运营一段时间后，都会出现一部分的视频模糊不清的问题。总体来说，虽然模糊图像处理算法已经取得了非常广泛的应用，但是图像算法毕竟有局限性，不能将所有问题都寄希望于图像算法，对于不同种类的模糊问题，要区别对待。对于由镜头离焦、灰尘遮挡、线路老化、摄像机故障等造成的模糊或者图像质量下降，在视频诊断系统的帮助下，一定要及时维修，从源头上解决问题。对于低光照等优先选择日夜两用型高感光度摄像机，对于雨雾、运动和欠采样等造成的图像质量下降，可以借助于“视频增强服务器”包含的各种模糊图像处理算法来提升图像质量。喜欢此内容的人还喜欢17个教师常用网站推荐给你，再也不用到处找资源了17个教师常用网站推荐给你，再也不用到处找资源了 ...高校教师服务工作室 不喜欢不看的原因确定内容质量低 不看此公众号什么是水磨石？被设计师玩出新高度什么是水磨石？被设计师玩出新高度 ...联盟设计库 不喜欢不看的原因确定内容质量低 不看此公众号
数字图像处理的工具可分为三大类：
第一类包括各种正交变换和图像滤波等方法，其共同点是将图像变换到其它域（如频域）中进行处理（如滤波）后，再变换到原来的空间（域）中。
第二类方法是直接在空间域中处理图像，它包括各种统计方法、微分方法及其它数学方法。
第三类是数学形态学运算，它不同于常用的频域和空域的方法，是建立在积分几何和随机集合论的基础上的运算。
由于被处理图像的数据量非常大且许多运算在本质上是并行的，所以图像并行处理结构和图像并行处理算法也是图像处理中的主要研究方向。
扩展资料
1、数字图像处理包括内容：
图像数字化；图像变换；图像增强；图像恢复；图像压缩编码；图像分割；图像分析与描述；图像的识别分类。
2、数字图像处理系统包括部分：
输入（采集）；存储；输出（显示）；通信；图像处理与分析。
3、应用
图像是人类获取和交换信息的主要来源，因 此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。
主要应用于航天和航空、生物医学工程、通信 工程、工业和工程、军事公安、文化艺术、机器人视觉、视频和多媒体系统、科学可视化、电子商务等方面。
参考资料来源：百度百科-数字图像处理
图像处理是利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的行为，应用广泛，多用于测绘学、大气科学、天文学、美图、使图像提高辨识等。学术堂在这里为大家整理了一些图像处理本科毕业论文题目，希望对你有用。1、基于模糊分析的图像处理方法及其在无损检测中的应用研究2、数字图像处理与识别系统的开发3、关于数字图像处理在运动目标检测和医学检验中若干应用的研究4、基于ARM和DSP的嵌入式实时图像处理系统设计与研究5、基于图像处理技术的齿轮参数测量研究6、图像处理技术在玻璃缺陷检测中的应用研究7、图像处理技术在机械零件检测系统中的应用8、基于MATLAB的X光图像处理方法9、基于图像处理技术的自动报靶系统研究10、多小波变换及其在数字图像处理中的应用11、基于图像处理的检测系统的研究与设计12、基于DSP的图像处理系统的设计13、医学超声图像处理研究14、基于DSP的视频图像处理系统设计15、基于FPGA的图像处理算法的研究与硬件设计
（一）选题毕业论文（设计）题目应符合本专业的培养目标和教学要求，具有综合性和创新性。本科生要根据自己的实际情况和专业特长，选择适当的论文题目，但所写论文要与本专业所学课程有关。（二）查阅资料、列出论文提纲题目选定后，要在指导教师指导下开展调研和进行实验，搜集、查阅有关资料，进行加工、提炼，然后列出详细的写作提纲。（三）完成初稿根据所列提纲，按指导教师的意见认真完成初稿。（四）定稿初稿须经指导教师审阅，并按其意见和要求进行修改，然后定稿。一般毕业论文题目的选择最好不要太泛，越具体越好，而且老师希望学生能结合自己学过的知识对问题进行分析和解决。不知道你是否确定了选题，确定选题了接下来你需要根据选题去查阅前辈们的相关论文，看看人家是怎么规划论文整体框架的；其次就是需要自己动手收集资料了，进而整理和分析资料得出自己的论文框架；最后就是按照框架去组织论文了。你如果需要什么参考资料和范文我可以提供给你。还有什么不了解的可以直接问我，希望可以帮到你，祝写作过程顺利毕业论文选题的方法:一、尽快确定毕业论文的选题方向 在毕业论文工作布置后,每个人都应遵循选题的基本原则,在较短的时间内把选题的方向确定下来。从毕业论文题目的性质来看,基本上可以分为两大类:一类是社会主义现代化建设实践中提出的理论和实际问题;另一类是专业学科本身发展中存在的基本范畴和基本理论问题。大学生应根据自己的志趣和爱好,尽快从上述两大类中确定一个方向。二、在初步调查研究的基础上选定毕业论文的具体题目在选题的方向确定以后,还要经过一定的调查和研究,来进一步确定选题的范围,以至最后选定具体题目。下面介绍两种常见的选题方法。 浏览捕捉法 :这种方法就是通过对占有的文献资料快速地、大量地阅读,在比较中来确定论文题目地方法。浏览,一般是在资料占有达到一定数量时集中一段时间进行,这样便于对资料作集中的比较和鉴别。浏览的目的是在咀嚼消化已有资料的过程中,提出问题,寻找自己的研究课题。这就需要对收集到的材料作一全面的阅读研究,主要的、次要的、不同角度的、不同观点的都应了解,不能看了一些资料,有了一点看法,就到此为止,急于动笔。也不能“先入为主”,以自己头脑中原有的观点或看了第一篇资料后得到的看法去决定取舍。而应冷静地、客观地对所有资料作认真的分析思考。在浩如烟海,内容丰富的资料中吸取营养,反复思考琢磨许多时候之后,必然会有所发现,这是搞科学研究的人时常会碰到的情形。 浏览捕捉法一般可按以下步骤进行:第一步,广泛地浏览资料。在浏览中要注意勤作笔录,随时记下资料的纲目,记下资料中对自己影响最深刻的观点、论据、论证方法等,记下脑海中涌现的点滴体会。当然,手抄笔录并不等于有言必录,有文必录,而是要做细心的选择,有目的、有重点地摘录,当详则详,当略则略,一些相同的或类似的观点和材料则不必重复摘录,只需记下资料来源及页码就行,以避免浪费时间和精力。第二步,是将阅读所得到的方方面面的内容,进行分类、排列、组合,从中寻找问题、发现问题,材料可按纲目分类,如分成: 系统介绍有关问题研究发展概况的资料; 对某一个问题研究情况的资料; 对同一问题几种不同观点的资料; 对某一问题研究最新的资料和成果等等。第三步,将自己在研究中的体会与资料分别加以比较,找出哪些体会在资料中没有或部分没有;哪些体会虽然资料已有,但自己对此有不同看法;哪些体会和资料是基本一致的;哪些体会是在资料基础上的深化和发挥等等。经过几番深思熟虑的思考过程,就容易萌生自己的想法。把这种想法及时捕捉住,再作进一步的思考,选题的目标也就会渐渐明确起来。希望可以帮到你，有什么不懂的可以问我
1、首先你要知道你要掩盖的区域位置。掩膜就是一张二值图像，用这张二值图像与你要处理的图像相乘，掩膜中为1的部分是你要看见的，为0的部分是你想遮挡住的。2、知道要掩盖区域的位置后，建立一个与待处理图像相同的矩阵，0和1的设置参照上一条。3、掩膜与待处理图像相乘。4、后续处理，如：傅里叶反变换
需要我帮你吗?
清华大学出版社最近推出了两部人工智能新教材？：《人工智能概论》和《人工智能导论》，前者为人工智能通识课教材，后者面向人工智能专业及计算机、自动化和电子信息类专业。也两本书的最大特点就是易读易懂，易教易学。
和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。解决这个问题的方法一般是建立一个属性模型,对于不相互独立的属性,把他们单独处理。例如中文文本分类识别的时候，我们可以建立一个字典来处理一些词组。如果发现特定的问题中存在特殊的模式属性，那么就单独处理。这样做也符合贝叶斯概率原理，因为我们把一个词组看作一个单独的模式，例如英文文本处理一些长度不等的单词，也都作为单独独立的模式进行处理，这是自然语言与其他分类识别问题的不同点。实际计算先验概率时候，因为这些模式都是作为概率被程序计算，而不是自然语言被人来理解，所以结果是一样的。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。但这点有待验证，因为具体的问题不同，算法得出的结果不同，同一个算法对于同一个问题，只要模式发生变化，也存在不同的识别性能。这点在很多国外论文中已经得到公认，在机器学习一书中也提到过算法对于属性的识别情况决定于很多因素，例如训练样本和测试样本的比例影响算法的性能。决策树对于文本分类识别，要看具体情况。在属性相关性较小时，NBC模型的性能稍微良好。属性相关性较小的时候，其他的算法性能也很好，这是由于信息熵理论决定的。
对于一个数据进行分类，那么数据的属性信息称为x，如果知道后验概率的情况下即能得到确定x的情况下分类为ci的概率。这时我们还需要一个损失的权值，λij称为i错判为j的损失（λii为0，一般λij都相等=1但具体情况可以具体分配），由前边得到的后验概率来乘上这个λ的参数这就叫做条件风险（conditional risk）。
那么我们可以设计一个映射关系h，从x->c可以将结果带入条件风险，求整体风险最小。 但是其中后验概率很难在现实任务中取到，所以引入机器学习的目标的就是去训练这样一个后验概率（从大量的样本数据中）当然也有两种方式：
可以看到前边判别类别的决策树，bp，svm都是判别式模型。（从这里看出我们的终极目标还是去计算 p(c|x) ，符合现实的要求。）
根据贝叶斯定理，要求联合概率分布，可以通过 p(c )*p(x|c)/p(x) 来得到，前者是类先验概率，后者是类条件概率，或者称似然。 p（x） 是用于归一化的证据因子，对于给定的样本x，证据因子和类标记无关。（证据因子的存在知识为了保证各类别的后验概率的总和为1,所以在固定x的情况下这一项相当于常数，在比较时不做考虑）
但如果x样本的属性很多或者是一个连续值，那么样本个数是不可能完全模拟到所有的取值的，更不用说还要去计算他们出现的联合概率了，也就是说得到的 p(x|c) 会有很多零值。 那么无法通过样本来进行模拟分布，可以用mle（极大似然估计）的方法，通过设定一个通用的分布函数（如：正态分布，不一定是正态，所以这个假设存在一定误差，或者说我们在指定假设分布形式时需要参考一定的先验知识（也就是我们训练数据的风格））然后通过训练分布中的参数来让极大似然最大。
1.朴素贝叶斯分类器：（naïve bayes classification） 条件： 将所有的属性假设为相互独立也就是每个属性独立地对分类结果发生影响，这个想法很天真，很梦幻。 当然有了这个假设就很好计算了，计算联合分布的过程：通过训练集D来得到类先验概率然后再得到类条件概率。对于离散的取值数据量够可以直接用取值在训练集D中的概率直接估计，对于离散取值过多，或者是连续取值的情况可以用最大似然来做估计。 然后通过计算和比较 p（c=1，x) 和 p（c=2,x) 的大小，来或者最后输出c是判为1还是2。 因为离散取值会因为在数据集中找不到而变成概率为0，这样会影响所有的判断，这样就可以通过一个平滑处理（如：拉普拉斯修正）来将其修正为 （Dci+1）/（Dc+Nx） ，Dci为类别为c，x属性取值为i的个数，Nx为属性x的可能的取值数。同理对于类先验也要进行平滑处理。（这样的平滑操作算是一种先验，而且随着样本集增大影响逐渐减少的趋向于真实值。）
2.半朴素贝叶斯分类器（semi-naïve bayes classification） 条件： 既然所有属性都假设为相互独立过于天真，那么我们假设一种独依赖，也就是假设每一个属性在类别之外最多仅依赖于一个其他属性。我们称这种假设为semi-naïve 的假设。 那么这样的独依赖也会有一些设计的方式: 1.都依赖于一个相同的父属性(SPODE); 2.随机依赖于除自己以外的其他的属性，但要让生成的树达到最大的权值（权值由两个属性之间的条件互信息来决定），构成最大带权生成树（TAN）。 但是因为有无环的性质，所以无论哪一种最后一定会有一个属性是没有父依赖的。
3.非朴素贝叶斯--贝叶斯网络：（放弃之前“天真”的假设）
条件： 前边半朴素通过图连接来刻画属性之间的依赖关系，那么同样贝叶斯网络也在用这种有向无环图来刻画属性之间的依赖关系，并用条件概率表（CPT，conditional probability table）作为边的参数也就是（整个贝叶斯网络的参数）主要是子属性和父属性相对应的条件概率。而一个属性他的父属性个数没有任何限制。 问题： 但这样不如上一个半朴素贝叶斯结构基本固定直接遍历搜索空间也不会很大，可以用最大边的方式构建贝叶斯网络，也就是说这样的网络结构很难去构建和生成，主要是用似然损失+构造损失（参数个数*参数的精度）作为损失函数来进行优化，但是这直接求解是一个NP难的问题，这样就有两种方式第一种：贪心法，通过初始化一个网络结构，然后每次调整一个边（增加，删除或调整方向）使得loss变化最大，直到最后评分函数无法在降低。（当然这样的一个初始化网络结构就会变得很重要）第二种：通过给网络结构添加约束，比如将网络结构限定为树形结构等。 方法： 除了之前我们用作的分类问题，还可以做扩展到一个推断的问题，比如蒙着眼摸出西瓜的根蒂，形状，大小，能推断出它的色泽到底是青绿还是黄绿，是好瓜还坏，甜度如何等等。而且还可以直接精确计算出后验概率，但是当网络结点很多，连接又很稠密，而且查询的属性又含有依赖关系的时候，在短时间内计算出准确的结果会很难。所以我们通过借助近似的方式推断结果。（我们只想知道哪种可能性大得多，具体大多少不是我们要求的结论） 这种近似的做法就是吉布斯采样方法，固定我们获得的证据属性E，然后通过初始化一个q0，接着对于q0中的某一个属性根据其他的属性不变，根据计算得到的条件概率进行采样。这是一个马尔科夫链（marcov chain），性质：在经过t次的采样之后，马尔科夫会收敛于一个平稳分布，而这个平稳分布正是我们要求的那个 p（Q|E=e） 的分布。这样我们就可以通过吉布斯采样来得到一个模拟化的分布得到q最有可能的取值。（或者给定q， p（q|E=e） 估计的概率是多少）
隐变量介绍以及解决方法： 上诉还有一个问题那就是属性缺失的情况下怎么办，我们的模型网络还能创建得出来吗？也就是说存在隐变量（latent variable）该怎样解决这样的问题？ EM(Expectation-Maximization）算法是常用的估计参数隐变量的方法。 主要的思想就是：隐变量和模型参数是我们要求的，而二者之间存在相互依赖的关系，也就是不知道隐变量无法求出模型参数，不知道模型参数也无法反推出隐变量。那如果是一种优化迭代算法的话，初始化隐变量，然后训练得到最优的参数，然后通过固定最优的参数再反过来训练到最优的隐变量。直到最后收敛到一个局部最优解。（所以这种算法求解的结果是和 初始值关系比较大的局部最优解，如果能找到一个接近全局最优解的初始值，或者在接受解的概率上做调整不至于过快收敛，可能可以得到一个更好的解。）
参考文献：西瓜书-贝叶斯决策论
没有参考书。想了解的话只有学相关知识
引入：
定义： （英语：Bayes' theorem）是概率论中的一个定理，描述在已知一些条件下，某事件的发生几率。比如，如果已知某癌症与寿命有关，使用贝叶斯定理则可以透过得知某人年龄，来更加准确地计算出他罹患癌症的几率。———— wiki解释
贝叶斯公式：
事件B发生的条件下，事件A发生的概率为： 事件A发生的条件下，事件B发生的概率为： 由此可得： 得贝叶斯公式如下：
贝叶斯公式： 上式可以理解为：
所以贝叶斯的底层思想为： 如果掌握了一个事情的全部信息，就可以计算出一个客观概率(古典概率、正向概率)，但是绝大多数决策面临的信息都是不全的，在有限信息的条件下，尽可能预测一个好的结果，也就是在主观判断的基础上，可以 先估计一个值（先验概率），然后根据观察的新信息不断修正（可能性函数） 。
问题 ：有两个一模一样的碗，1号碗里有30个巧克力和10个水果糖，2号碗里有20个巧克力和20个水果糖。然后把碗盖住。随机选择一个碗，从里面摸出一个巧克力。 这颗巧克力来自1号碗的概率是多少？
求解问题：
已知信息：
应用贝叶斯：
问题 ：假设艾滋病的发病率是0.001，即1000人中会有1个人得病。现有一种试剂可以检验患者是否得病，它的准确率是0.99，即在患者确实得病的情况下，它有99%的可能呈现阳性。它的误报率是5%，即在患者没有得病的情况下，它有5%的可能呈现阳性。 现有一个病人的检验结果为阳性，请问他确实得病的可能性有多大？
求解问题：
已知信息:
应用贝叶斯定理:
造成这么不靠谱的误诊的原因，是我们无差别地给一大群人做筛查，而不论测量准确率有多高，因为正常人的数目远大于实际的患者，所以误测造成的干扰就非常大了。 根据贝叶斯定理，我们知道提高先验概率，可以有效的提高后验概率。 所以解决的办法倒也很简单，就是先锁定可疑的样本，比如10000人中检查出现问题的那10个人，再独立重复检测一次，因为正常人连续两次体检都出现误测的概率极低，这时筛选出真正患者的准确率就很高了，这也是为什么许多疾病的检测，往往还要送交独立机构多次检查的原因。
问题 ：最初的垃圾邮件过滤是靠静态关键词加一些判断条件来过滤，效果不好，漏网之鱼多，冤枉的也不少。2002年，Paul Graham提出 使用"贝叶斯推断"过滤垃圾邮件 。因为 典型的垃圾邮件词汇在垃圾邮件中会以更高的频率出现 ，所以在做贝叶斯公式计算时，肯定会被识别出来。之后用最高频的15个垃圾词汇做联合概率计算，联合概率的结果超过90%将说明它是垃圾邮件。
不过这里还涉及到一个问题，就是单个关键词的概率（单个条件）无论如何再高，这封邮件仍然有可能不是垃圾邮件，所以在此处应用贝叶斯定理时，我们显然要用到多个条件，也就是计算这个概率：
Paul Graham 的做法是，选出邮件中 P（垃圾邮件|检测到“X”关键词） 最高的 15个词 ，计算它们的 联合概率 。（如果关键词是第一次出现，Paul Graham 就假定这个值等于 0.4 ，也即认为是negative normal）。
后续更新……
参考文章1：(知乎)小白之通俗易懂的贝叶斯定理（Bayes' Theorem） 参考文章2：()贝叶斯公式/贝叶斯法则/贝叶斯定理
贝叶斯定理太有用了，不管是在投资领域，还是机器学习，或是日常生活中高手几乎都在用到它。 生命科学家用贝叶斯定理研究基因是如何被控制的；教育学家突然意识到，学生的学习过程其实就是贝叶斯法则的运用；基金经理用贝叶斯法则找到投资策 略；Google用贝叶斯定理改进搜索功能，帮助用户过滤垃圾邮件；无人驾驶汽车接收车顶传感器收集到的路况和交通数据，运用贝叶斯定理更新从地图上获得 的信息；人工智能、机器翻译中大量用到贝叶斯定理。 我将从以下4个角度来科普贝叶斯定理及其背后的思维： 1.贝叶斯定理有什么用？ 2.什么是贝叶斯定理？ 3.贝叶斯定理的应用案例 4.生活中的贝叶斯思维 1.贝叶斯定理有什么用？ 英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。而这篇论文是在他死后才由他的一位朋友发表出来的。 （ps：贝叶斯定理其实就是下面图片中的概率公式，这里先不讲这个公式，而是重点关注它的使用价值，因为只有理解了它的使用意义，你才会更有兴趣去学习它。） 在这篇论文中，他为了解决一个“逆概率”问题，而提出了贝叶斯定理。 在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，比如杜蕾斯举办了一个抽奖，抽奖桶里有10个球，其中2个白球，8个黑球，抽到白球就算你中奖。你伸手进去随便摸出1颗球，摸出中奖球的概率是多大。 根据频率概率的计算公式，你可以轻松的知道中奖的概率是2/10 如果还不懂怎么算出来的，可以看我之前写的科普概率的回答： 猴子：如何理解条件概率？ 而贝叶斯在他的文章中是为了解决一个“逆概率”的问题。比如上面的例子我们并不知道抽奖桶里有什么，而是摸出一个球，通过观察这个球的颜色，来预测这个桶里里白色球和黑色球的比例。 这个预测其实就可以用贝叶斯定理来做。贝叶斯当时的论文只是对“逆概率”这个问题的一个直接的求解尝试，这哥们当时并不清楚这里面这里面包含着的深刻思想。 然而后来，贝叶斯定理席卷了概率论，并将应用延伸到各个问题领域。可以说，所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，特别地，贝叶斯是机器学习的核心方法之一。 为什么贝叶斯定理在现实生活中这么有用呢？ 这是因为现实生活中的问题，大部分都是像上面的“逆概率”问题。生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。 比如天气预报说，明天降雨的概率是30%，这是什么意思呢？ 我们无法像计算频率概率那样，重复地把明天过上100次，然后计算出大约有30次会下雨。 而是只能利用有限的信息（过去天气的测量数据），用贝叶斯定理来预测出明天下雨的概率是多少。 同样的，在现实世界中，我们每个人都需要预测。想要深入分析未来、思考是否买股票、政策给自己带来哪些机遇、提出新产品构想，或者只是计划一周的饭菜。 贝叶斯定理就是为了解决这些问题而诞生的，它可以根据过去的数据来预测出概率。 贝叶斯定理的思考方式为我们提供了明显有效的方法来帮助我们提供能力，以便更好地预测未来的商业、金融、以及日常生活。 总结下第1部分：贝叶斯定理有什么用？ 在有限的信息下，能够帮助我们预测出概率。 所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，特别地，贝叶斯是机器学习的核心方法之一。例如垃圾邮件过滤，中文分词，艾滋病检查，肝癌检查等。 2.什么是贝叶斯定理？ 贝叶斯定理长这样： 到这来，你可能会说：猴子，说人话，我一看到公式就头大啊。 其实，我和你一样，不喜欢公式。我们还是从一个例子开始聊起。 我的朋友小鹿说，他的女神每次看到他的时候都冲他笑，他想知道女神是不是喜欢他呢？ 谁让我学过统计概率知识呢，下面我们一起用贝叶斯帮小鹿预测下女神喜欢他的概率有多大，这样小鹿就可以根据概率的大小来决定是否要表白女神。 首先，我分析了给定的已知信息和未知信息： 1）要求解的问题：女神喜欢你，记为A事件 2）已知条件：女神经常冲你笑，记为B事件 所以说，P(A|B)是女神经常冲你笑这个事件(B)发生后，女神喜欢你（A）的概率。 从公式来看，我们需要知道这么3个事情： 1）先验概率 我 们把P(A)称为'先验概率'（Prior probability），即在不知道B事件的前提下，我们对A事件概率的一个主观判断。这个例子里就是在不知道女神经常对你笑的前提下，来主观判断出女 神喜欢一个人的概率，这里我们假设是50%，也就是不能喜欢你，可能不喜欢还你的概率都是一半。 2）可能性函数 P(B|A)/P(B)称为'可能性函数'（Likelyhood），这是一个调整因子，即新信息B带来的调整，作用是使得先验概率更接近真实概率。 可 能性函数你可以理解为新信息过来后，对先验概率的一个调整。比如我们刚开始看到“人工智能”这个信息，你有自己的理解（先验概率/主观判断），但是当你学 习了一些数据分析，或者看了些这方面的书后（新的信息），然后你根据掌握的最新信息优化了自己之前的理解（可能性函数/调整因子），最后重新理解了“人工 智能”这个信息（后验概率） 如果'可能性函数'P(B|A)/P(B)>1，意味着'先验概率'被增强，事件A的发生的可能性变大； 如果'可能性函数'=1，意味着B事件无助于判断事件A的可能性； 如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小 还是刚才的例子，根据女神经常冲你笑这个新的信息，我调查走访了女神的闺蜜，最后发现女神平日比较高冷，很少对人笑。所以我估计出'可能性函数'P(B|A)/P(B)=1.5（具体如何估计，省去1万字，后面会有更详细科学的例子） 3）后验概率 P(A|B)称为'后验概率'（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后，对女神喜欢你的概率重新预测。 带入贝叶斯公式计算出P(A|B)=P(A)* P(B|A)/P(B)=50% *1.5=75% 因此，女神经常冲你笑，喜欢上你的概率是75%。这说明，女神经常冲你笑这个新信息的推断能力很强，将50%的'先验概率'一下子提高到了75%的'后验概率'。 在得到预测概率后，小鹿自信满满的发了下面的表白微博：无图 稍后，果然收到了女神的回复。预测成功。无图 现在我们再看一遍贝叶斯公式，你现在就能明白这个公式背后的最关键思想了： 我们先根据以往的经验预估一个'先验概率'P(A)，然后加入新的信息（实验结果B），这样有了新的信息后，我们对事件A的预测就更加准确。 因此，贝叶斯定理可以理解成下面的式子： 后验概率（新信息出现后的A概率）＝先验概率（A概率） x 可能性函数（新信息带来的调整） 贝叶斯的底层思想就是： 如果我能掌握一个事情的全部信息，我当然能计算出一个客观概率（古典概率）。 可是生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。也就是，在主观判断的基础上，你可以先估计一个值（先验概率），然后根据观察的新信息不断修正(可能性函数)。 如果用图形表示就是这样的： 其实阿尔法狗也是这么战胜人类的，简单来说，阿尔法狗会在下每一步棋的时候，都可以计算自己赢棋的最大概率，就是说在每走一步之后，他都可以完全客观冷静的更新自己的信念值，完全不受其他环境影响。 3.贝叶斯定理的应用案例 前面我们介绍了贝叶斯定理公式，及其背后的思想。现在我们来举个应用案例，你会更加熟悉这个牛瓣的工具。 为了后面的案例计算，我们需要先补充下面这个知识。 1.全概率公式 这个公式的作用是计算贝叶斯定理中的P(B)。 假定样本空间S，由两个事件A与A'组成的和。例如下图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。 这时候来了个事件B，如下图： 全概率公式： 它的含义是，如果A和A'构成一个问题的全部（全部的样本空间），那么事件B的概率，就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。 看到这么复杂的公式，记不住没关系，因为我也记不住，下面用的时候翻到这里来看下就可以了。 案例1：贝叶斯定理在做判断上的应用 有两个一模一样的碗，1号碗里有30个巧克力和10个水果糖，2号碗里有20个巧克力和20个水果糖。 然后把碗盖住。随机选择一个碗，从里面摸出一个巧克力。 问题：这颗巧克力来自1号碗的概率是多少？ 好了，下面我就用套路来解决这个问题，到最后我会给出这个套路。 第1步，分解问题 1）要求解的问题：取出的巧克力，来自1号碗的概率是多少？ 来自1号碗记为事件A1，来自2号碗记为事件A2 取出的是巧克力，记为事件B， 那么要求的问题就是P(A1|B)，即取出的是巧克力，来自1号碗的概率 2）已知信息： 1号碗里有30个巧克力和10个水果糖 2号碗里有20个巧克力和20个水果糖 取出的是巧克力 第2步，应用贝叶斯定理 1）求先验概率 由于两个碗是一样的，所以在得到新信息（取出是巧克力之前），这两个碗被选中的概率相同，因此P(A1)=P(A2)=0.5,(其中A1表示来自1号碗，A2表示来自2号碗) 这个概率就是'先验概率'，即没有做实验之前，来自一号碗、二号碗的概率都是0.5。 2）求可能性函数 P(B|A1)/P(B) 其中，P(B|A1)表示从一号碗中(A1)取出巧克力(B)的概率。 因为1号碗里有30个水果糖和10个巧克力，所以P(B|A1)=30/(30+10)=75% 现在只有求出P(B)就可以得到答案。根据全概率公式，可以求得P(B)如下图： 图中P(B|A1)是1号碗中巧克力的概率，我们根据前面的已知条件，很容易求出。 同样的，P(B|A2)是2号碗中巧克力的概率，也很容易求出（图中已给出）。 而P(A1)=P(A2)=0.5 将这些数值带入公式中就是小学生也可以算出来的事情了。最后P(B)=62.5% 所以，可能性函数P(A1|B)/P(B)=75%/62.5%=1.2 可能性函数>1.表示新信息B对事情A1的可能性增强了。 3）带入贝叶斯公式求后验概率 将上述计算结果，带入贝叶斯定理，即可算出P(A1|B)=60% 这个例子中我们需要关注的是约束条件：抓出的是巧克力。如果没有这个约束条件在，来自一号碗这件事的概率就是50%了，因为巧克力的分布不均把概率从50%提升到60%。 现在，我总结下刚才的贝叶斯定理应用的套路，你就更清楚了，会发现像小学生做应用题一样简单： 第1步. 分解问题 简单来说就像做应用题的感觉，先列出解决这个问题所需要的一些条件，然后记清楚哪些是已知的，哪些是未知的。 1）要求解的问题是什么？ 识别出哪个是贝叶斯中的事件A（一般是想要知道的问题），哪个是事件B（一般是新的信息，或者实验结果） 2）已知条件是什么？ 第2步.应用贝叶斯定理 第3步，求贝叶斯公式中的2个指标 1）求先验概率 2）求可能性函数 3）带入贝叶斯公式求后验概率
贝叶斯公式直接的应用就是学习，啥意思，就是根据经验对新发生的事物进行判断。抽象地说就是这样。应用的原因就是为了预测未来，规避风险。就和你知道很多鸟都是黑色的，但是其中乌鸦是黑色的可能性最大，于是当你再看到一只黑色的鸟的时候，你就会想着这只鸟是不是乌鸦。包括你学习贝叶斯也是这样的，别人都说贝叶斯很厉害[先验]，然后你找了很多案例，最后想看看贝叶斯成功的概率是多少[后验]，其本质就是这个