期望、方差、协方差及相关系数的基本运算

这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。

期望

定义

设是一个离散概率分布函数，自变量的取值范围为。其期望被定义为：

设是一个连续概率密度函数。其期望为：

性质

1、线性运算规则

期望服从线性性质（可以很容易从期望的定义公式中导出）。因此线性运算的期望等于期望的线性运算：

这个性质可以推广到任意一般情况：

2、函数的期望

设为x的函数，则的期望为：

离散：

连续：

一定要注意，函数的期望不等于期望的函数，即！。

3、乘积的期望

一般来说，乘积的期望不等于期望的乘积，除非变量相互独立。因此，如果x和y相互独立，则。

期望的运算构成了统计量的运算基础，因为方差、协方差等统计量本质上是一种特殊的期望。

方差

定义

方差是一种特殊的期望，被定义为：

性质

1、展开表示

反复利用期望的线性性质，可以算出方差的另一种表示形式：

2、常数的方差

常数的方差为0，由方差的展开表示很容易推得。

3、线性组合的方差

方差不满足线性性质，两个变量的线性组合方差计算方法如下：

其中为x和y的协方差，下一节讨论。

4、独立变量的方差

如果两个变量相互独立，则：

作为推论，如果x和y相互独立：。

协方差

定义

两个随机变量的协方差被定义为：

因此方差是一种特殊的协方差。当x=y时，。

性质

1、独立变量的协方差

独立变量的协方差为0，可以由协方差公式推导出。

2、线性组合的协方差

协方差最重要的性质如下：

很多协方差的计算都是反复利用这个性质，而且可以导出一些列重要结论。

作为一种特殊情况：

另外当x=y时，可以导出方差的一般线性组合求解公式：

相关系数

定义

相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为：

性质

1、有界性

相关系数的取值范围为-1到1，其可以看成是无量纲的协方差。

2、统计意义

值越接近1，说明两个变量正相关性（线性）越强，越接近-1，说明负相关性越强，当为0时表示两个变量没有相关性。