先验概率和后验概率

yiyiyicz 2012-07-06

展开全文

全概率公式和贝叶斯公式两个是相逆关系，前者是计算后验概率，后者是通过后验概率计算先验概率。

先验概率( Prior probability)是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。

后验概率( posterior probability)是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。

先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。

【例】比如某个事件群为UAi，这个群可以划分若干个事件Ai，如果存在某个发生事件B，假设已知每个Ai条件下发生的B的概率已知（这个概率是先告诉你的，我们理解为先验概率），现在求这个事件B在事件群UAi这个总体样本下的概率（这个概率和先验概率是不同的，因为两者的样本空间不同，先验概率的样本空间是每个Ai），我们把这个求解公式称为全概率公式，因为这个概率是全样本空间发生B的概率，而且是在已知每个Ai下发生B的概率下求解，因此是先验计算后验。而贝叶斯公式就和全概率相反，他是已知在事件群UAi这个总空间下发生B的概率的前提下，去求已知发生B下，发生Ai的概率，显然是用后验概率去求先验概率。

举个实际的例子，假设存在甲，乙，丙三所军校，每个军校里有男学生和女学生，现在准备打仗，要抽一个人去执行斩首行动。假设抽出了一名女学生去执行行动。那么求抽出女生的概率就用全概率公式。如果要求抽出的这个女的是甲军校的学生的概率是多少，就是用贝叶斯公式。

全概率公式和贝叶斯公式

P(E) = P(EF) + P(EFc) ＝ P(E|F)P(F) + P(E|Fc)P(Fc)
这个公式说明了，事件E发生的概率，等于在F发生的条件下E的条件概率，与在F不发生条件下E发生的条件概率的加权平均，其中加在每个条件概率上的权重就是作为条件的事件的发生的概率。
这个公式就是全概公式。这个公式能使我们在知道第二个事件发生与否的概率情况下，来计算第一个事件的概率。
【例】保险公司认为人分成两类，一类为容易出事故的人，一类为安全者。他们的统计表明，一个容易出事故的人一年内发生事故的概率是0.4，安全者出事故的概率为0.2。若第一类人占总人数的30%。那么如果现在有一个人来投保，那么该人在保单一年内将出事故的可能性为多少？
解：0.4×0.3 + 0.2 × (1－0.3)=0.26

【例】在某刑事案件调查中，调查员有60%的把握认为嫌疑人犯罪，假设现在得到了一个新的证据，表明罪犯有某个身体特征，如果有20%的人有这个特征，那么在嫌疑犯具有这个特征的情况下，检察官认为他犯罪的可能性是多大？
解：设A表示嫌疑人确实犯罪，B表示他具有这个身体特征。那么该问题则转换为求：

P(A|B) = P(B|A) * P(A) / P(B)

P(B|A)的含义是某人犯罪并且具有该身体特征的概率，为1。那么：

P(A|B) = 1 * 0.6 / (P(B|A)P(A) + P(B|Ac)P(Ac)) = 0.6 / (1*0.6 + 0.2 * 0.4) = xxxxx。

那么当发现新的证据时，假设成立的概率也会随之发生变化，我们可以表示为假设的优势的变化，其中优势的定义如下：
P(A) / P(Ac) = P(A) / (1 - P(A))
即事件A的优势的含义是说，该时间发生的可能性是该事件没有发生的可能性的倍数。
那么如果说，当我们发现了某个证据E，而这个E让P(A)的优势变大，我们则可称之为“证据E进一步地证明了A的结论”。

假设原来的H以概率P(H)成立，然后发现了新的证据E，这个时候优势变为：

P(H|E) = P(E|H)P(H) / P(E)

假设有三张形状完全相同但是所涂颜色不同的卡片。第一张两面都是红色，第二张两面全是黑色，第三张一面是红色，一面是黑色。随机抽出一张，朝上的一面是红色的，问另外一面是红色的概率是多少？
解：让R1,R2,R3分别代表三张卡片，E代表朝上一面是红色。

那么该题则转换为
P(R1|E) = P(E|R1)P(R1) / P(E) = (1 * 1/3) / (1/2) = 2/3

经典题目：
    有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人打开了另外一个门，空的。问应试者要不要换一个选择。假设主持人知道车所在的那个门。

经典解法（结论倒是正确的）：
    第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。主持人指出一个门，如果你开始选错了(2/3概率)，则剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。
所以主持人提示之后，你不换的话正确概率是1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。

    我先说说这个经典解法的问题吧。对于这个解法的诘问就在于，现在主持人已经打开一个空门了（而且主持人是有意打开这个门的），在这一“信息” 出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变我们对于先验概率的看法吗？答案是会的。更具体地说，主持人打开一扇门后，对当初选择错误的概率估计不一定等于2/3。
    从头说起。假设我选了B门，假设主持人打开了C门，那么他在什么情况下会打开C门呢？
    若A有车（先验概率P=1/3），那主持人100%打开C门（他显然不会打开B）；
    若B有车（先验概率P=1/3），那此时主持人有A和C两个选择，假设他以K的概率打开C（一般K=1/2，但我们暂把它设成变量）；
    若C有车（先验概率P=1/3），那主持人打开C的概率为0（只要他不傻。。。）

    已知他打开了C，那根据贝叶斯公式——这里P（M|N）表示N事件发生时M事件发生的概率：

P（C打开|B有车）* p（B有车）

P（B有车|C打开）= ------------------------------

P（C打开）

P（C打开|B有车）* p（B有车）

= ------------------------------------------------------------

P（C打开|A有车）* p（A有车）+ P（C打开|B有车）* p（B有车）

K * 1/3

= -------------------

1 * 1/3 + K * 1/3

= -------

                                             K + 1
    该值何时等于1/3 呢（也就是经典解法里的假设）？只有 K=1/2 时。也就是一般情况下。但如果主持人有偏好，比方说他就是喜欢打开右边的门（假设C在右边），设K=3/4，那么B有车的概率就变成了 3/5，不再是1/3，后验事实改变了先验概率的估计！

    但这并不改变正确的选择，我们仍然应该改选A门，解释如下：

P（C打开|A有车）* p（A有车）

P（A有车|C打开）= ------------------------------