一.贝叶斯相关公式
1.条件概率
当条件成立时，事件发生的概率。如下所示：
2.先验概率
先验概率(Prior Probability)是指根据以往经验和分析得到的概率，它不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的。比如，、都是先研概率。
3.后验概率
后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料。如下所示：
4.全概率公式
发生的概率是全部原因引起发生的概率的总和，即每个原因对结果的发生有一定的作用，结果发生的可能性与各种原因的作用大小有关。如下所示：
5.贝叶斯公式
在事件已经发生的条件下，贝叶斯公式可用来寻找导致发生各种原因的概率。如下所示：
二.抛硬币试验的后验概率
1.Beta分布
Beta分布是指一组定义在(0,1)区间的连续概率分布，它有两个参数和。其概率密度函数为：
其中，是Gamma函数，随机变量服从参数和的Beta分布记为。概率密度函数曲线如下所示：
2.Beta分布与均匀分布关系
当和的时候，Beta分布就是一个均匀分布：
3.Beta分布与二项分布关系
(1)伯努利分布和二项分布
伯努利分布(Bernoulli Distribution)是一种离散分布，又称为'0-1分布'或'两点分布'。满足只有两种可能，试验结果相互独立且对立的随机变量通常称为伯努利随机变量。二项分布(Binomial Distribution)也是一种离散型概率分布，又称为重伯努利分布。
(2)Beta分布与二项分布
进行重伯努利试验，假设其试验成功的概率服从先验概率密度分布。如果试验结果出现次试验成功，那么试验成功的概率的后验概率密度分布为。
说明：方程推导过程省略，感兴趣可参考[4]。在机器学习的主题模型中遇到的2对共轭分布，即Beta分布是二项分布的共轭分布，Dirichlet分布是多项式分布的共轭分布(Beta分布和二项式分布的多维推广)。
4.抛硬币试验后验概率更新图
抛1次硬币就是1重伯努利分布，抛次硬币就是重伯努利分布。根据频率学派，每次抛硬币头朝上的概率。但贝叶斯学派假设，而生成的观测数据。一个Beta先验分布连同二项分布生成的观测数据将形成一个Beta后验分布，即。随着抛硬币次数的增加，后验概率更新的Python脚本如下所示：
import numpy as np
from matplotlib import pyplot as plt
import scipy.stats as stats
dist = stats.beta
n_trials = [0, 1, 2, 3, 4, 5, 8, 15, 50, 500]
# 生成伯努利随机变量
data = stats.bernoulli.rvs(0.5, size=n_trials[-1])
x = np.linspace(0, 1, 100)
for k, N in enumerate(n_trials):
sx = plt.subplot(len(n_trials) / 2, 2, k + 1)
plt.xlabel('$p$, probability of heads') if k in [0, len(n_trials) - 1] else None
plt.setp(sx.get_yticklabels(), visible=False)
heads = data[:N].sum()
y = dist.pdf(x, 1 + heads, 1 + N - heads)
plt.plot(x, y, label='observe %d tosses, \n %d heads' % (N, heads))
plt.fill_between(x, 0, y, color='#348ABD', alpha=0.4)
plt.vlines(0.5, 0, 4, color='k', linestyles='--', lw=1)
leg = plt.legend()
leg.get_frame().set_alpha(0.4)
plt.autoscale(tight=True)
plt.suptitle('Bayesian updating of posterior probabilities', y=1.02, fontsize=14)
plt.tight_layout()
plt.show()
后验概率更新图如下所示：
可见随着观察数据的增多，概率密度越来越靠近真实值0.5，虽然不会完全等于0.5。
参考文献：
[1]一个例子搞懂条件概率、先验概率、后验概率、全概率公式和贝叶斯公式：https://blog.csdn.net/venom_snake/article/details/89925155
[2]Think Bayes - 我所理解的贝叶斯定理：https://blog.csdn.net/csshuke/article/details/62884071
[3]贝塔分布：https://baike.baidu.com/item/%E8%B4%9D%E5%A1%94%E5%88%86%E5%B8%83/8994021
[4]深入理解Beta分布：从定义到公式推导：https://zhuanlan.zhihu.com/p/69606875
[5]scipy.stats.beta：https://docs./doc/scipy/reference/generated/scipy.stats.beta.html
