标签: 协方差 协方差矩阵 统计 引言最近在看主成分分析(PCA),其中有一步是计算样本各维度的协方差矩阵。以前在看算法介绍时,也经常遇到,现找了些资料复习,总结如下。 协方差通常,在提到协方差的时候,需要对其进一步区分。(1)随机变量的协方差。跟数学期望、方差一样,是分布的一个总体参数。(2)样本的协方差。是样本集的一个统计量,可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。 随机变量的协方差在概率论和统计中,协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关,协方差越大,完全线性无关,协方差为零。定义如下。 当,是同一个随机变量时,与其自身的协方差就是的方差,可以说方差是协方差的一个特例。 或 由于随机变量的取值范围不同,两个协方差不具备可比性。如,,分别是三个随机变量,想要比较与的线性相关程度强,还是与的线性相关程度强,通过与无法直接比较。定义相关系数为 通过的方差与的方差对协方差归一化,得到相关系数,的取值范围是。表示完全线性相关,表示完全线性负相关,表示线性无关。线性无关并不代表完全无关,更不代表相互独立。 样本的协方差在实际中,通常我们手头会有一些样本,样本有多个属性,每个样本可以看成一个多维随机变量的样本点,我们需要分析两个维度之间的线性关系。协方差及相关系数是度量随机变量间线性关系的参数,由于不知道具体的分布,只能通过样本来进行估计。 设样本对应的多维随机变量为,样本集合为,为样本数量。与样本方差的计算相似,和两个维度样本的协方差公式为,其中,,为样本维度 这里分母为是因为随机变量的数学期望未知,以样本均值代替,自由度减一。 协方差矩阵多维随机变量的协方差矩阵对多维随机变量,我们往往需要计算各维度两两之间的协方差,这样各协方差组成了一个的矩阵,称为协方差矩阵。协方差矩阵是个对称矩阵,对角线上的元素是各维度上随机变量的方差。我们定义协方差矩阵为,这个符号与求和相同,需要根据上下文区分。矩阵内的元素为 这样这个矩阵为 样本的协方差矩阵与上面的协方差矩阵相同,只是矩阵内各元素以样本的协方差替换。样本集合为,为样本数量,所有样本可以表示成一个的矩阵。我们以表示样本的协方差矩阵,与区分。 公式中为样本数量,为样本的均值,是一个列向量,为第个样本,也是一个列向量。 在写程序计算样本的协方差矩阵时,我们通常用后一种向量形式计算。一个原因是代码更紧凑清晰,另一个原因是计算机对矩阵及向量运算有大量的优化,效率高于在代码中计算每个元素。 需要注意的是,协方差矩阵是计算样本不同维度之间的协方差,而不是对不同样本计算,所以协方差矩阵的大小与维度相同。 很多时候我们只关注不同维度间的线性关系,且要求这种线性关系可以互相比较。所以,在计算协方差矩阵之前,通常会对样本进行归一化,包括两部分:
这样,协方差矩阵可以写成 该矩阵内的元素具有可比性。 |
|
来自: 雪柳花明 > 《机器学习,深度学习 面试技巧》