Beta分布、贝叶斯公式及共轭分布

在现代统计学和数据分析的世界中，贝叶斯方法已经成为了一种不可或缺的工具，它允许我们将主观信念与观测到的数据相结合，从而得到新的、更新的信念。Beta 分布在这其中起到了关键的作用，特别是当我们关注的是一个位于 [0,1] 区间的参数或概率时。Beta 分布不仅提供了一个强大的方法来描述这些概率的不确定性，而且还在贝叶斯框架中扮演了共轭先验的角色，使得后验分布的计算变得简单和直观。这篇文章将带领读者深入了解 Beta 分布的魅力，探索贝叶斯方法的内涵，以及共轭先验如何优雅地简化了概率更新过程。

Beta 分布

Beta 分布是一个定义在 区间的连续概率分布，常用于描述一个概率的不确定性。其概率密度函数 (pdf) 定义为:

其中， 是 Beta 函数，等于:

这里， 和 是该分布的两个参数，它们决定了分布的形状。当 时，Beta 分布就是均匀分布。

Beta分布的性质如下：

1. 随机变量取值范围: Beta 分布定义在 上，因此常用于描述概率或比例。
2. 形状: Beta 分布的形状完全由参数 和 决定。它可以呈现出各种形状，从U形、钟形到偏斜等。
3. 均匀分布：当 且 时， 分布就是 上的均匀分布。
4. 期望和方差:

为了更好地理解这些概念，我们可以绘制一些图形来展示 Beta 分布在不同参数下的形状，以及如何根据观察到的数据更新 Beta 分布。

首先，我们可以绘制 Beta 分布在以下参数下的图形：

1. (均匀分布)
2. (例如 )
3. (例如 )
4. (例如 )

从图中可以看到:

1. 蓝色线代表均匀分布，因为当 且 时，Beta 分布是均匀分布。
2. 橙色线代表 Beta 分布偏向 1 的情况，此时 。
3. 绿色线代表 Beta 分布偏向 0 的情况，此时 。
4. 紫色线展示了当 和 都相对较大时，Beta 分布在其平均值附近形成一个尖峰。

Beta 分布与贝叶斯

贝叶斯公式为:

其中:

• 是后验概率。
• 是似然概率。
• 是先验概率。
• 是证据或归一化常数。

在实践中，如果我们有一个二元结果的实验 (如抛硬币)，并想要估计成功的概率 ，我们可以使用 Beta 分布作为 的先验分布。每次实验后，可以使用贝叶斯公式来更新这个概率。

共轭分布

当先验分布和后验分布属于同一族分布时，我们说这个先验分布是似然函数的共轭先验。共轭分布的主要优点是它们简化了后验分布的计算。当我们连续地更新我们的信念时，使用共轭先验可以使计算变得更为直接和数学上更为简洁。

在二项分布的贝叶斯分析中，Beta 分布是共轭的，这意味着如果你的先验是 Beta 分布，然后你观察到一些二项数据，那么后验也是Beta 分布。

具体来说，如果先验是 且观察到 次成功和 次失败，那么后验将是 。

后验分布与先验分布、似然和证据的来积成正比:

其中：

• 是后验分布
• 是似然
• 是先验分布

现在，我们假定先验分布 是 Beta 分布，即 。我们的数据 是从二项分布中抽取的，其中我们观察到 次成功和 次失败。

证明过程如下。

先验分布:

似然:

二项分布的概率质量函数为

现在，我们将先验和似然结合起来。

整理这个公式，我们得到：

从上面的表达式可以看出，这个形式与 Beta 分布的定义是一致的，只是参数有所不同。所 以，后验分布 也是一个 Beta 分布，但其参数变为 和 。

这就证明了在二项分布的贝叶斯分析中，Beta 分布是共轭先验。

Beta 分布和贝叶斯分析结合起来，为我们提供了一个强大的工具来更新我们对某一概率的信念。当处理二项分布数据时，Beta 分布作为先验的选择特别方便，因为它是二项分布的共轭先验，这使得后验分析变得数学上更为简洁。

其他共轭分布

共轭分布的概念在贝叶斯统计中非常有用，因为它使得后验分布的计算变得容易。以下是一 些常见的似然函数和它们的共轭先验分布:

1. 伯努利分布和二项分布

似然:

共轭先验: Beta分布

2. 正态分布 (已知方差)

似然:

共轭先验: 正态分布

3. 正态分布 (已知均值)

似然:

共轭先验: 逆伽马分布

4. 指数分布

似然:

共轭先验: 伽马分布

5. 泊松分布

似然:

共轭先验: 伽马分布

这些只是一些常见的共轭分布示例。在实践中，不是所有的似然函数都有一个简单的共轭先 验，但上面列出的是在许多应用中常用的。

应用示例

扔硬币（二项分布的共轭先验）

假设我们有一个硬币，我们不知道它是否均匀。我们可以使用 Beta 分布作为这个硬币正面朝上的概率 的先验分布。初始时，我们可以选择 ，这意味着我们对 是均匀分布的没有任何倾向。

现在，我们抛这个硬币 10 次，得到了 7 次正面和 3 次反面。我们可以使用这些数据更新我们 对 的估计。

先验是 。根据观察到的数据，后验是 。

这意味着，根据我们的观察，正面朝上的概率 的最有可能的值(后验概率最大值所对应的随机变量的取值）现在接近 0.66 。

我们绘制先验分布: ，以及根据 7 次正面和 3 次反面的观察，更新后的后验分布: 的图像

青色线代表我们的先验分布，它是一个均匀分布；红色线代表了我们的后验分布。根据观察到的 7 次正面和 3 次反面，我们更新了关于硬币正面朝上的概率 p 的信念。可以看到，更新后的分布明显偏向了更大的 p 值，接近 0.66。这些图形清楚地展示了如何通过观察数据来更新我们的信念。

公交车到达（泊松分布的共轭先验）

假设我们正在研究一个城市的公交车站，我们想知道每小时到达的公交车数量。在一个小时内的公交车到达次数可以用泊松分布来建模。泊松分布由一个参数 决定，这个参数表示单位时间内到达的平均公交车数量。

假设我们并不知道 的确切值，但我们有一个关于它的先验信念，这个信念可以用伽马分布来表示，因为伽马分布是泊松分布的共轭先验。

泊松分布的似然函数为:

伽马分布作为先验分布，定义为:

其中， 和 是伽马分布的参数。

当我们观察到数据 后，后验分布的形式仍然是伽马分布，但参数有所不同:

假设我们原本认为每小时到达的公交车数量的平均值是 5 ，我们可以选择伽马分布的参数为 和 (这样期望值为 )。 接下来，我们观察了 4 个小时，记录了每小时到达的公交车数量为: 。 现在，我们可以使用这些数据来更新我们对于 的信念。

蓝色线代表先验分布，即我们在观察任何数据之前关于 的信念。我们选择了一个期望为5的伽马分布。

红色线代表后验分布，即在观察到数据后，我们对 的更新信念。你可以看到，由于观察到的数据，后验分布稍微向右移动，意味着我们认为每小时的公交车数量可能稍微多于先验信念。

结语

通过本文的探索，我们已经深刻地理解了 Beta 分布、贝叶斯方法和共轭先验的密切关系及其重要性。这些概念并不仅仅是纯理论上的构造，它们为我们提供了实际问题中的解决方案，帮助我们在面对不确定性时做出明智的决策。贝叶斯方法的美妙之处在于它为我们提供了一种在不断变化的环境中更新信念的方式，而 Beta 分布和共轭先验确保了这一过程的数学优雅性和计算简洁性。在这个数据驱动的时代，拥有这样的工具无疑是我们的一大优势，它鼓励我们持续地学习、适应并从数据中获得洞察。