机器学习（十六）——多元正态分布（The multivariate normal distribution）

原文：http://cs229./notes/cs229-notes2.pdf

n维的多元正态分布，也称为多元高斯分布，是用均值向量和协方差矩阵参数化的，其中Σ≥0是对称的和正半定的。也被写作，它的密度函数为

在上面的方程中，“|Σ|”表示矩阵Σ的行列式。

对于一个随机变量X分布的，均值是

向量值随机变量Z的协方差定义为。这是一个实值随机变量方差的概念.协方差也可以定义为。(你应该能够证明这两个定义是等价的。) 如果，那么

以下是高斯分布的密度的一些示例：

最左边的图表示均值为零(即2x1零向量)和协方差矩阵Σ=i(2x2恒等矩阵)的高斯分布。具有零均值和恒等协方差的高斯也称为标准正态分布。中间图为零均值高斯密度，Σ=0.6I。在最右边的图中，Σ=2I。我们看到，随着Σ变大，高斯变得更“分散”，当它变得更小，分布变得更“压缩”。

让我们来看看更多的例子。

以上数字分别表示均值为0的高斯矩阵和协方差矩阵。

最左边的图显示了熟悉的标准正态分布，我们发现，我们看到当我们在Σ中增加非对角线条目时，密度变得更“压缩”到45度线。当我们看同样三种密度的等值线时，我们可以更清楚地看到这一点：

下面是由可变Σ生成的最后一组示例：

对应的：

从最左边和中间的数字，我们看到，通过减少协方差矩阵的对角线元素，密度现在又变得“压缩”，但在相反的方向。最后，随着参数的变化，更一般的等高线将形成椭圆。

作为最后一组示例，修复Σ=I，通过改变变量，我们也可以移动密度的均值。

上面的数字是使用Σ=I生成的，并且分别