接上篇:机器学习中的统计学——概率分布在之前的几篇文章中曾讲述过主成分分析的数学模型、几何意义和推导过程(PS:点击即可阅读),这里面就要涉及到协方差矩阵的计算,本文将针对协方差矩阵做一个详细的介绍,其中包括协方差矩阵的定义、数学背景与意义以及计算公式的推导。 1. 协方差定义X、Y 是两个随机变量,X、Y 的协方差 cov(X, Y) 定义为: 其中: 、 2. 协方差矩阵定义矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的,这里默认数据是按行排列。即每一行是一个observation(or sample),那么每一列就是一个随机变量。 协方差矩阵: 协方差矩阵的维度等于随机变量的个数,即每一个 observation 的维度。在某些场合前边也会出现 1 / m,而不是 1 / (m - 1). 3. 求解协方差矩阵的步骤举个例子,矩阵 X 按行排列: 1. 求每个维度的平均值2. 将 X 的每一列减去平均值其中: 3. 计算协方差矩阵注意: 有时候在书上或者网上会看到这样的公式,协方差矩阵 Σ: 这里之所以会是 X * X' 是因为原始数据集 X 是按列排列的,即: 参考:https://blog.csdn.net/kuang_liu/article/details/16369475 |
|
来自: LibraryPKU > 《Math》