贝叶斯理论毕业论文

之前看过一些贝叶斯的论文后，发现很多细节不理解，对贝叶斯在各个领域的应用也不清楚，便想着找本偏科普的书来看看，于是开始阅读贝叶斯思维（Think Bayes）这本书。很薄的一本。 贝叶斯的基本理论都是源于条件概率模型，作者用一个很有意思的例子来解释了条件概率。注意：不是抓球那种老掉牙的例子。 作者希望知道自己得FCA的概率（某种心脏病，具体病名叫First Coronary Attack），根据已有的统计报告，美国每年大概有785000人次患FCA。因为美国的人口是亿，因此可以得出一个美国人患上FCA的概率是。但作者觉得这种算法不够准确，因为他并不是一个随机抽取的美国人，平均值并不能代表他的值，某个具体人患上FCA的概率需要考虑很多其他因素，例如年龄，性别等。 作者男性，45岁，这些因素增加了他患FCA的概率；而他是低血压却减低了他患FCA的概率。综合这些因素，作者算出他下年患上FCA的概率是，低于平均值。而这种考虑多种因素后算出的概率被称为条件概率。而条件概率的定义就是大家所熟知的p(A|B)：B发生的时候，发生A的概率。结合作者的例子来解释就是：A代表作者患上FCA的概率，B是作者列出的影响因素的集合（年龄，性别，血压等）。 联合概率用来描述两个事件A和B同时发生的概率，记做p(A and B)=p(A)p(B)。用抛硬币来举例，第一次抛硬币正面朝上的概率记做p(A)，第二次抛硬币正面朝上的概率记做p(B)，那么两次都朝上的概率是p(A)p(B)=。需要注意的是，p(A and B)=p(A)p(B)并不是什么时候都成立，要求事件A和B要彼此独立，也就是p(B|A)=p(B)，直白点的解释就是B发生的概率与A发生与否没有关系。抛硬币的事件就满足这个条件。 再举一个事件不相互独立的例子。假设A代表今天下雨，B代表明天下雨。通常，如果今天下雨，明天下雨的概率会比较大，因此可以得出p(B|A)>p(B)。因此呢，p(A and B)写成p(A)p(B|A)会比较准确。 综上所述，联合概率的公式可以写成：p(A and B)=p(A)p(B|A)

贝叶斯定理太有用了，不管是在投资领域，还是机器学习，或是日常生活中高手几乎都在用到它。 生命科学家用贝叶斯定理研究基因是如何被控制的；教育学家突然意识到，学生的学习过程其实就是贝叶斯法则的运用；基金经理用贝叶斯法则找到投资策 略；Google用贝叶斯定理改进搜索功能，帮助用户过滤垃圾邮件；无人驾驶汽车接收车顶传感器收集到的路况和交通数据，运用贝叶斯定理更新从地图上获得 的信息；人工智能、机器翻译中大量用到贝叶斯定理。 我将从以下4个角度来科普贝叶斯定理及其背后的思维： 1.贝叶斯定理有什么用？ 2.什么是贝叶斯定理？ 3.贝叶斯定理的应用案例 4.生活中的贝叶斯思维 1.贝叶斯定理有什么用？ 英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。而这篇论文是在他死后才由他的一位朋友发表出来的。 （ps：贝叶斯定理其实就是下面图片中的概率公式，这里先不讲这个公式，而是重点关注它的使用价值，因为只有理解了它的使用意义，你才会更有兴趣去学习它。） 在这篇论文中，他为了解决一个“逆概率”问题，而提出了贝叶斯定理。 在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，比如杜蕾斯举办了一个抽奖，抽奖桶里有10个球，其中2个白球，8个黑球，抽到白球就算你中奖。你伸手进去随便摸出1颗球，摸出中奖球的概率是多大。 根据频率概率的计算公式，你可以轻松的知道中奖的概率是2/10 如果还不懂怎么算出来的，可以看我之前写的科普概率的回答： 猴子：如何理解条件概率？ 而贝叶斯在他的文章中是为了解决一个“逆概率”的问题。比如上面的例子我们并不知道抽奖桶里有什么，而是摸出一个球，通过观察这个球的颜色，来预测这个桶里里白色球和黑色球的比例。 这个预测其实就可以用贝叶斯定理来做。贝叶斯当时的论文只是对“逆概率”这个问题的一个直接的求解尝试，这哥们当时并不清楚这里面这里面包含着的深刻思想。 然而后来，贝叶斯定理席卷了概率论，并将应用延伸到各个问题领域。可以说，所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，特别地，贝叶斯是机器学习的核心方法之一。 为什么贝叶斯定理在现实生活中这么有用呢？ 这是因为现实生活中的问题，大部分都是像上面的“逆概率”问题。生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。 比如天气预报说，明天降雨的概率是30%，这是什么意思呢？ 我们无法像计算频率概率那样，重复地把明天过上100次，然后计算出大约有30次会下雨。 而是只能利用有限的信息（过去天气的测量数据），用贝叶斯定理来预测出明天下雨的概率是多少。 同样的，在现实世界中，我们每个人都需要预测。想要深入分析未来、思考是否买股票、政策给自己带来哪些机遇、提出新产品构想，或者只是计划一周的饭菜。 贝叶斯定理就是为了解决这些问题而诞生的，它可以根据过去的数据来预测出概率。 贝叶斯定理的思考方式为我们提供了明显有效的方法来帮助我们提供能力，以便更好地预测未来的商业、金融、以及日常生活。 总结下第1部分：贝叶斯定理有什么用？ 在有限的信息下，能够帮助我们预测出概率。 所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，特别地，贝叶斯是机器学习的核心方法之一。例如垃圾邮件过滤，中文分词，艾滋病检查，肝癌检查等。 2.什么是贝叶斯定理？ 贝叶斯定理长这样： 到这来，你可能会说：猴子，说人话，我一看到公式就头大啊。 其实，我和你一样，不喜欢公式。我们还是从一个例子开始聊起。 我的朋友小鹿说，他的女神每次看到他的时候都冲他笑，他想知道女神是不是喜欢他呢？ 谁让我学过统计概率知识呢，下面我们一起用贝叶斯帮小鹿预测下女神喜欢他的概率有多大，这样小鹿就可以根据概率的大小来决定是否要表白女神。 首先，我分析了给定的已知信息和未知信息： 1）要求解的问题：女神喜欢你，记为A事件 2）已知条件：女神经常冲你笑，记为B事件 所以说，P(A|B)是女神经常冲你笑这个事件(B)发生后，女神喜欢你（A）的概率。 从公式来看，我们需要知道这么3个事情： 1）先验概率 我 们把P(A)称为'先验概率'（Prior probability），即在不知道B事件的前提下，我们对A事件概率的一个主观判断。这个例子里就是在不知道女神经常对你笑的前提下，来主观判断出女 神喜欢一个人的概率，这里我们假设是50%，也就是不能喜欢你，可能不喜欢还你的概率都是一半。 2）可能性函数 P(B|A)/P(B)称为'可能性函数'（Likelyhood），这是一个调整因子，即新信息B带来的调整，作用是使得先验概率更接近真实概率。 可 能性函数你可以理解为新信息过来后，对先验概率的一个调整。比如我们刚开始看到“人工智能”这个信息，你有自己的理解（先验概率/主观判断），但是当你学 习了一些数据分析，或者看了些这方面的书后（新的信息），然后你根据掌握的最新信息优化了自己之前的理解（可能性函数/调整因子），最后重新理解了“人工 智能”这个信息（后验概率） 如果'可能性函数'P(B|A)/P(B)>1，意味着'先验概率'被增强，事件A的发生的可能性变大； 如果'可能性函数'=1，意味着B事件无助于判断事件A的可能性； 如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小 还是刚才的例子，根据女神经常冲你笑这个新的信息，我调查走访了女神的闺蜜，最后发现女神平日比较高冷，很少对人笑。所以我估计出'可能性函数'P(B|A)/P(B)=（具体如何估计，省去1万字，后面会有更详细科学的例子） 3）后验概率 P(A|B)称为'后验概率'（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后，对女神喜欢你的概率重新预测。 带入贝叶斯公式计算出P(A|B)=P(A)* P(B|A)/P(B)=50% * 因此，女神经常冲你笑，喜欢上你的概率是75%。这说明，女神经常冲你笑这个新信息的推断能力很强，将50%的'先验概率'一下子提高到了75%的'后验概率'。 在得到预测概率后，小鹿自信满满的发了下面的表白微博：无图 稍后，果然收到了女神的回复。预测成功。无图 现在我们再看一遍贝叶斯公式，你现在就能明白这个公式背后的最关键思想了： 我们先根据以往的经验预估一个'先验概率'P(A)，然后加入新的信息（实验结果B），这样有了新的信息后，我们对事件A的预测就更加准确。 因此，贝叶斯定理可以理解成下面的式子： 后验概率（新信息出现后的A概率）＝先验概率（A概率） x 可能性函数（新信息带来的调整） 贝叶斯的底层思想就是： 如果我能掌握一个事情的全部信息，我当然能计算出一个客观概率（古典概率）。 可是生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。也就是，在主观判断的基础上，你可以先估计一个值（先验概率），然后根据观察的新信息不断修正(可能性函数)。 如果用图形表示就是这样的： 其实阿尔法狗也是这么战胜人类的，简单来说，阿尔法狗会在下每一步棋的时候，都可以计算自己赢棋的最大概率，就是说在每走一步之后，他都可以完全客观冷静的更新自己的信念值，完全不受其他环境影响。 3.贝叶斯定理的应用案例 前面我们介绍了贝叶斯定理公式，及其背后的思想。现在我们来举个应用案例，你会更加熟悉这个牛瓣的工具。 为了后面的案例计算，我们需要先补充下面这个知识。 1.全概率公式 这个公式的作用是计算贝叶斯定理中的P(B)。 假定样本空间S，由两个事件A与A'组成的和。例如下图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。 这时候来了个事件B，如下图： 全概率公式： 它的含义是，如果A和A'构成一个问题的全部（全部的样本空间），那么事件B的概率，就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。 看到这么复杂的公式，记不住没关系，因为我也记不住，下面用的时候翻到这里来看下就可以了。 案例1：贝叶斯定理在做判断上的应用 有两个一模一样的碗，1号碗里有30个巧克力和10个水果糖，2号碗里有20个巧克力和20个水果糖。 然后把碗盖住。随机选择一个碗，从里面摸出一个巧克力。 问题：这颗巧克力来自1号碗的概率是多少？ 好了，下面我就用套路来解决这个问题，到最后我会给出这个套路。 第1步，分解问题 1）要求解的问题：取出的巧克力，来自1号碗的概率是多少？ 来自1号碗记为事件A1，来自2号碗记为事件A2 取出的是巧克力，记为事件B， 那么要求的问题就是P(A1|B)，即取出的是巧克力，来自1号碗的概率 2）已知信息： 1号碗里有30个巧克力和10个水果糖 2号碗里有20个巧克力和20个水果糖 取出的是巧克力 第2步，应用贝叶斯定理 1）求先验概率 由于两个碗是一样的，所以在得到新信息（取出是巧克力之前），这两个碗被选中的概率相同，因此P(A1)=P(A2)=,(其中A1表示来自1号碗，A2表示来自2号碗) 这个概率就是'先验概率'，即没有做实验之前，来自一号碗、二号碗的概率都是。 2）求可能性函数 P(B|A1)/P(B) 其中，P(B|A1)表示从一号碗中(A1)取出巧克力(B)的概率。 因为1号碗里有30个水果糖和10个巧克力，所以P(B|A1)=30/(30+10)=75% 现在只有求出P(B)就可以得到答案。根据全概率公式，可以求得P(B)如下图： 图中P(B|A1)是1号碗中巧克力的概率，我们根据前面的已知条件，很容易求出。 同样的，P(B|A2)是2号碗中巧克力的概率，也很容易求出（图中已给出）。 而P(A1)=P(A2)= 将这些数值带入公式中就是小学生也可以算出来的事情了。最后P(B)= 所以，可能性函数P(A1|B)/P(B)=75%/ 可能性函数>1.表示新信息B对事情A1的可能性增强了。 3）带入贝叶斯公式求后验概率 将上述计算结果，带入贝叶斯定理，即可算出P(A1|B)=60% 这个例子中我们需要关注的是约束条件：抓出的是巧克力。如果没有这个约束条件在，来自一号碗这件事的概率就是50%了，因为巧克力的分布不均把概率从50%提升到60%。 现在，我总结下刚才的贝叶斯定理应用的套路，你就更清楚了，会发现像小学生做应用题一样简单： 第1步. 分解问题 简单来说就像做应用题的感觉，先列出解决这个问题所需要的一些条件，然后记清楚哪些是已知的，哪些是未知的。 1）要求解的问题是什么？ 识别出哪个是贝叶斯中的事件A（一般是想要知道的问题），哪个是事件B（一般是新的信息，或者实验结果） 2）已知条件是什么？ 第2步.应用贝叶斯定理 第3步，求贝叶斯公式中的2个指标 1）求先验概率 2）求可能性函数 3）带入贝叶斯公式求后验概率