算法数学基础-条件概率、全概公式、贝叶斯公式

上一节我们梳理了概率与梳理统计中部分核心概念，这讲继续。

例题分析：将n只球放到N个盒子中（N>=n），试求每个盒子放一个球的概率是多少？

样本空间：n个小球放到N个盒子中有多少种方法，每个球都有N种方法，一共有N*N*N...N,n个球；

A事件：每个盒子放一个球的放法，N*N-1*N-2...N*（N-n+1)

P(A)就为两式相除。

以上是古典概型的简单应用，当然可以结合概率的性质解更为复杂的问题，比如把A变成AUB，用加法公式结合古典概型应用。不做过多的复杂讲解，回归概率的整体脉络，我们针对问题具体分析就好，关键要用对模型。

今天讲另外几个重点的概念：

1、条件概率：故名思意，就是讨论在某种条件下发生的概率。这个概念是应用最多的、最广的。人工智能中很多重要的算法都与条件概率的概念及性质的应用有密切关系。数学定义：P(B|A)=P(AB)/P(A)（用韦恩图很容易看出来这个关系，同样的由对称性可知，P(B|A)=(PAB)/P(B))。同样条件概率满足概率定义下得出的非负、规范、可列可加性。从这里开始，概率论开始变复杂了。

2、乘法定理：乘法定理就是在定义的基础上的公式变形，P(AB)=P(B|A)P(A)。别看这个简单的变形，是后续一系列重要定理的原点。定义推广到多个事件，得到形式P(ABC)=P(C|AB)P(B|A)P(A)。可以看到ABC同时发生的概率依赖关系，这个就是乘法公式。三个因素互相作用的系统中，某个现象出现不光要考虑单个因素发生的概率还要考虑到多个因素联合约束下的影响。这就是条件概率蕴含的深层次思想，它考虑到了关系之间的联合作用。

3、全概率公式：先看定义，如果一个样本空间为E，B1...Bn为一组事件（注意不是单个样本点划分，而是一组事件划分），也就是将样本空间这个集合进行划分，如果B1...Bn之间没有交集，并且B1UB2..UBn=E,那么E中一个事件A的概率可以表示为P(A)=P(A|B1)P(B1)+...P(A|Bn)P(Bn)。横向类比，B1..Bn像不像线性代数里面的向量空间的基！空间中任何一个向量（A）都可以由其基来表示。拿掷色子来举例，E={1，2，3，4，5，6}，我们将其划分为两个集合（基本事件）B1={1，2，3，4},B2{5，6}满足定义，那么A={3，4，5}这个事件的概率P(A)=P(A|B1)*P(B1)+P(A|B2)P(B2)来表示。要解这个公式需要知道的信息很多，所以全概率公司的最重要的作用不在于求，而是在于推导出另外一个非常重要的公式，贝叶斯公式！！贝叶斯公式！！贝叶斯公式！！

4、贝叶斯公式：P(Bi|A)=P(A|Bi)P(Bi)/P(A)。贝叶斯公式可以这样理解，以5月份医院诊断病例为例子，A代表症状，Bi代表疾病。我们知道某个人咳嗽，可能是感冒了(B1)、可能是肺炎(B2)、可能禽流感(B3)等等有很多病的临床表现都会咳嗽。通过医院以往的病例我们知道，感冒情况下有咳嗽症状的概率P(A|B1），肺炎情况下咳嗽的概率P(A|B2),禽流感情况下咳嗽的概率P(A|B3)，同时我们知道比如在夏天感冒的概率P(B1),肺炎的概率P(B2),禽流感的概率P(B3)，这样我们就可以分别计算P(A|B1),P(A|B2),P(A|B3)的概率，从而比较哪个概率比较大那么得某个疾病得可能性就最大。（哈哈哈，不知道大家看明白，医生看病的例子是最直接的。但是要注意，应用贝叶斯公司的时候需要注意全概率公式中的条件，B1..Bn相互独立，并且构成样本空间的一组基）