1、多元线性回归模型及其矩阵表示设Y是一个可观测的随机变量，它受到p-1个非随机因素 X1、X2、X3···X(p-1)和随机因素ε的影响。
若Y与 X1、X2、X3···X(p-1)有如下线性关系： Y = β0 β1X1 β2X2 ··· β(p-1)X(p-1) ε,
其中，β为未知参数，ε是均值为0、方差为σ²>0的不可观测随机变量，称为误差项，
并通常假定 ε∽N(0,σ²)。
该模型称为多元线性回归模型，
称Y为因变量，X为自变量。
要建立多元线性回归模型，我们首先要估计未知参数β，为此我们要进行n(n>=p)次独立观测，得到n组数据（称为样本）。
它们应满足上面代码块里那个式子。 就有了下面这张图：
 其中ε相互独立且均服从N(0,σ²)分布。 令：
则有了以下的矩阵形式： Y = Xβ ε； 其中Y称为观测向量，X称为设计矩阵，它们是由观测数据得到的，是已知的，并假定X是列满秩的。
β是待估计的未知参数向量，ε是不可观测的随机误差向量。 上式称为多元统计回归模型的矩阵形式。
2、β和σ²的估计经过一番计算，得出β的最小二乘估计:
 β的最大似然估计和它的最小二乘估计一样。
误差方差σ²的估计： 
为它的一个无偏估计。
3、有关的统计推断3.1 回归关系的统计推断给定因变量Y与自变量X的n组观测值，利用前面的方法可以得到未知参数β和σ²的估计，从而得出线性回归方程，但所求的方程是否有意义，也就是说XY之间是否存在显著的线性关系，还需要对回归方程进行检验。 检验方法：
建立方差分析表；
线性回归关系的显著性检验；
P值检验 3.1.1 建立方差分析表（1）离差平方和的分解
数据的总离差平方和：（反映了Y的波动大小）
 残差平方和：（SSE越大，观测值与线性拟合值之间的偏差就越大）
回归平方和：（反映了线性拟合值与它们的平均值的总偏差）
 经过计算，可得出：
SST= SSE SSR
因此，SSR越大，说明线性回归关系所描述的Y波动性比例就越大，即Y与X的线性关系就越显著。
3.1.2 方差分析表
3.2 线性回归关系的显著性检验检验假设： 若H0成立，则XY之间不存在线性回归关系。 构建如下检验统计量：
在给定显著性水平α，查F分布表得临界值Fσ(p-1,n-p)，（即F分布的上侧σ分位数）。 计算F的观测值F0,若F0<=Fσ时，则接受H0.
3.3 p值检验对于线性回归关系显著性检验问题，
p = P(H0).
P(H0)表示在H0为真时的概率。 若p<α,拒绝H0
若p>=α,接受H0.
来些例题
|
