本文内容主要总结自coursera课程Bayesian Methods for Machine Learning
一、什么是贝叶斯概率
有一个问题，我们有一个硬币，怎么判断这个硬币投掷后，显示正面的概率呢？
上面的例子用贝叶斯概率论的语言来描述，就是观察者持有某个前置信念（prior ），通过观测获得统计证据（evidence），通过满足一定条件的逻辑一致推断得出的关于该陈述的合理性（likelihood），从而得出后置信念（posterior ）来最好的表征观测后的知识状态（state of knowledge）。
这里，贝叶斯概率推断所试图解决的核心问题就是如何构建一个满足一定条件的逻辑体系赋予特定论断一个实数所表征的论断合理性的度量（measure of plausibility），从而可以允许观测者在不完全信息的状态下进行推断。这里，观察者对某变量的信念或知识状态就是频率学派所说的「概率分布」，也就是说，观察者的知识状态就是对被观察变量取各种值所赋予的「合理性」的分布。
频率学派和贝叶斯学派最大的差别:
其实产生于对参数空间的认知上。所谓参数空间，就是你关心的那个参数可能的取值范围。频率学派（其实就是当年的Fisher）并不关心参数空间的所有细节，他们相信数据都是在这个空间里的”某个“参数值下产生的（虽然你不知道那个值是啥），所以他们的方法论一开始就是从“哪个值最有可能是真实值”这个角度出发的。于是就有了最大似然（maximum likelihood）以及置信区间（confidence interval）这样的东西，你从名字就可以看出来他们关心的就是我有多大把握去圈出那个唯一的真实参数。而贝叶斯学派恰恰相反，他们关心参数空间里的每一个值，因为他们觉得我们又没有上帝视角，怎么可能知道哪个值是真的呢？所以参数空间里的每个值都有可能是真实模型使用的值，区别只是概率不同而已。于是他们才会引入先验分布（prior distribution）和后验分布（posterior distribution）这样的概念来设法找出参数空间上的每个值的概率。最好诠释这种差别的例子就是想象如果你的后验分布是双峰的，频率学派的方法会去选这两个峰当中较高的那一个对应的值作为他们的最好猜测，而贝叶斯学派则会同时报告这两个值，并给出对应的概率。
二、基础模型
1、离线分类判断模型
2、在线训练模型
将现模型作为先验分布，基于新数据，得到最新的分布
三、共轭分布
根据上面的内容，我们可以看到，因为数据p(x)是已知的，计算后验分布，需要得到先验分布和似然分布。其中，似然分布由我们选择拟合的分布模型决定。所以，问题在于如何得到先验分布。这里，我们引入了共轭分布的概念
共轭分布(conjugate distribution):
概率中一共涉及到三个分布：先验、似然和后验，如果由先验分布和似然分布所确定的后验分布与该先验分布属于同一种类型的分布，则该先验分布为似然分布的共轭分布，也称为共轭先验。
通过引入共轭分布，所有的分布就出来了，为后续的参数推倒做了铺垫
>>下面介绍一些典型的分布
1、高斯分布和其似然计算
（1）分布说明
例：每天运动的距离
（2）计算说明
Beta分布和其似然计算
（1）分布说明
电影评分等
（2）计算说明
四、虚拟变量
以上情况是仅仅考虑单变量的情况。现实情况中，多变量判断场景下，变量之间都是相互联系的，比如通过年龄和体重判断身高，年龄和体重之间也有着相互的联系。在这种情况下，计算概率就变得很复杂。
这时候，就引入了虚拟变量，通过虚拟变量整合所有参数，会使得概率模型变的简单
五、Gaussian Mixture Model GMM高斯混合模型
虚拟变量不一定是一个，根据需要可以添加多个虚拟变量分布用于拟合数据，这就是高斯混合模型
模型的训练方式也发生的改变，计算的结果变为找到最大概率的虚拟变量分布乘积
|
