不确定性与贝叶斯定理

本次分享的主题是: 不确定性与贝叶斯定理

在我们的生活中很多东西都是不确定的。比如说，今天会下雨吗？比如说，今天的生意会火爆吗？比如说，明天的股票是跌还是涨？等等。面对不确定性，人类是恐惧的，人之所以会觉得迷茫，也是因为对未来的不确定。因此，我们需要一套理论来解决这些不确定性。而这套理论正是概率论，它能够帮助我们解决不确定性。

信念与概率的关系

什么是信念？信念的英文是brief, 它的定义是：Brief is a phychological state in which an indivisual holds a proposition or premise to be true. 也就是说，信念是一个主观的事物，它是一种个人判断和选择事物真伪的思想意识。很明显，信念是自己觉得有把握或者确定的，它刚好与不确定性相反。概率呢，正如皮埃尔.西蒙.拉普拉斯所说，作为一种量化常识推理和信念程度的工具，将能够用来表示自己的信念。

概率的表示

如何表示概率？在表示概率之前我们需要知道两个概念，一是样本空间，二是事件。样本空间是一个试验所有可能输出的集合，比如说扔硬币，那么样本空间就是；事件则是样本空间的一个子集，回到扔硬币这个例子来，一个事件可以是，也可以是。有了事件，我们就可以定义概率了，概率是一种指派，对某个事件，我们可以给予它一个实数。那么，这种指派是不是随意的呢？答案为否。下面给出概率需要满足的三个条件:

1. 概率为非负数，取值在0和1之间。

2. 样本空间的概率为1。也就是说，包含所有事件的概率为1。

3. 如果存在独立事件，那么它们发生的概率为独立事件发生概率的总和。

随机变量

什么是随机变量？随机变量是从样本空间到实数的函数映射。如何理解呢？直观来说，我们扔硬币这个事件，它有可能是人头向上，也有可能人头向下。因此，人头的朝向是因变量，而这个因变量是随机的，不确定的，这就是随机变量。对于每一个随机变量，我们可以关联一个概率分布。举个例子，投掷两次硬币，样本点是两次投掷的结果，那么它就只有四种情况：上上，上下，下上，下下。考虑两次人头向上这个事件，我们可以给它指派一个概率，那么它的概率就是1/4。人头朝向事件的概率构成了一个概率分布。

联合概率分布

以上我们讲了单变量的情况，即投掷同一个硬币。下面考虑多变量的情况，比如，同时投掷两枚硬币看其朝向。对这两个需要同时考虑的随机变量的概率分布，我们称之为联合概率分布。事实上，联合概率在生活中很常见，毕竟一切事物皆是联系的。

边缘概率分布

我们需要同时考虑多个随机变量，但是一旦随机变量的个数太多的时候，可不可以通过去掉一些随机变量来得到较少变量的分布呢? 答案是可以的。那就是边缘概率分布。举个例子，给定两个随机变量，记为X和Y，那么联合概率分布的边缘分布P(X)可以通过对联合概率分布按照y的所有可能取值来汇总概率。

条件概率分布

条件概率是什么呢？它指的是给定某个事件发生的条件下，当前事件发生的概率。比如说，假如我们知道今天会刮台风，那么公司还要上班的概率就是条件概率。用公式来表示是 P(X|Y) = P(X, Y) / P(Y)，其中P(X, Y)是联合概率，P(X|Y)是条件概率。

贝叶斯定理

前面我们说了，人生而需要面对不确定性，那么对于不确定性的事物，人通常会怎么做呢？答案是预测。那么如何预测就是一个棘手的问题了。此时，贝叶斯定理的出现给我们带来了曙光。下面我们将看到贝叶斯定理是如何被应用来做预测的。问题来了，给定数据D，那么Y发生的概率是多少？现实生活中，这种场景很常见，比如说，医生根据病人心电图数据推测他是否患有心血管疾病。那么，贝叶斯定理是如何解决这个问题的呢？贝叶斯公式为P(Y|D) = (P(D|Y) P(Y))/({P(D|Y)P(Y)}的边缘分布概率)。从这个公式，我们可以看到贝叶斯公式是非常神奇的，本来是想要求给定D的条件下Y的概率，居然可以转化为求解给定Y的条件下D的概率以及Y的概率，而这两者是可以得到的：P(Y|D)是后验概率，也就是观察到D后对Y的信念；P(D|Y)则是给定Y下的似然率，也就是给定一个结论，求它能生成怎样的数据D，回到病人那个例子，医生可以通过学习患有心血管疾病的病人心电图来获得似然率；P(Y)是先验分布，是我们在知道其它信息之前对Y的认识，也就是初始信念。

总结

我们探讨了不确定性和信念的关系，进而给出了概率这个解决不确定性的框架。紧接着，我们讲述了概率的定义以及概率的三个条件，而这其中，我们还引入了样本空间和事件的基本概念。有了概率，我们给出了随机变量的概率分布。从一个随机变量的概率分布，我们拓展到了多个随机变量的联合概率分布。联合概率分布是用来处理多个随机变量同时发生的概率分布，但是一旦随机变量的个数非常多的时候，我们则会希望在联合概率分布下通过删除一些随机变量来得到较少随机变量的分布，这个较少变量的概率分布就是边缘概率分布。基于边缘概率分布和条件概率分布，我们最后引出了贝叶斯定理。