多重共线性解决方法(一)

多重共线性解决方法(一)

Monica

在进行多元回归分析中经常遇见多重共线性的问题，本篇文章主要介绍如何解决多重共线性问题：

1. 删除不重要变量;

2. 逐步回归分析;

3. 岭回归;

4. 主成分分析;

5. 偏最小二乘回归;

6. 用相对数变量代替绝对数变量.

本篇文章着重介绍岭回归.

 

 

1.首先什么多重是共线性？多重共线性是指解释变量间存在完全或近似的线性关系。

以下一段是经管之家论坛上的解释：

多元线性回归的斜率系数就相当于是微积分的偏导数，就是固定其他不变，单独一个x变化，y如何变，就能够找到两者关系，但是如果各个x之间有很强的线性关系，就无法固定其他变量了，就找不到x和y之间真实的关系了。还可以从线性代数中用矩阵解方程解释，或者经济学中常见的比如需求定理说其他条件不变，就价格增加，需求量下降，其他不变才可以做出偏导数，如果其他条件与价格有很强关系，如何可以控制其他条件不变而价格变呢？ 2.然后产生多重共线性的原因： 经济变量变化趋势的同向性; 解释变量中含有滞后变量; 进入模型的解释变量选择不当. 3.如何判断多重共线性: 自变量相关系数矩阵R诊断法 分别计算出每两个自变量之间的单相关系数，并把计算结果做成矩阵表，在单相关系数矩阵内任何两个自变量间的相关系数|r| >0.7都有可能导致多重共线性的出现。 SAS实例 : PROC CORR data = sashelp.class;   VAR  age height weight; RUN; 结果如下： 上图就是一个pearson相关系数矩阵，看weight这一行，第一行为相关系数，与age的相关系数 r = 0.74089,与height的相关系数 r = 0.87779。第二行是p值，即体重与年龄绝对不相关的概率是0.0003，与身高绝对不相关的概率是小于0.0001的。上图矩阵中的每两个自变量之间的相关系数都>0.7，说明有可能导致多重共线性的出现。