条件概率在研究生的概率论的课程中会涉及。
本文主要想阐述对条件概率的理解,以及在工程中应用的原因。
其公式如下:
其值随Y取值变化,所以是Y的一个函数。由于Y是随机变量,所以条件概率也是一个随机变量。其期望E(E(X|Y))=E(X),这是无条件的恒成立公式。数学推理过程又被称为全期望定理:
全期望定理比全概率公式更贴近 加权求平均 。这个公式是易于理解的:随机变量X期望等于不同Y取值下X期望的加权平均数。
全期望定理适用于求解多次重复实验的期望或方差。考研数学一里有一种题型是,每次实验都是二项分布或伯努利分布,求解n次实验的期望。全期望定理是解决此问题的理想工具。
如果我们将Y视为含有X信息的观测值,则条件期望可以被理解为给定Y条件下对X的估计。它具备两个优良性质。这使得它在统计推断领域中被广泛应用。统计学中的名称是最小均方估计( LMS )。
两个性质分别是:
1、 其估计是无偏的
2、 估计误差与估计是不相关的 (注意相关和独立的区别)
下面是对这两个性质的推导及说明。
1、无偏性
X的估计为:
其误差为:
显然,估计误差也是随机变量,所以
成立的原因是 完全由 Y 的取值决定。所以在样本估计中, 是常数。
条件期望更广泛的一个性质是: 1)
表明这样的估计是没有系统级的正或负偏的,被称为无偏性,是估计的较好性质之一。
2、不相关性
最后等式为0可由公式1)推导得到。