|
对于一般的回归模型，都是基于自变量之间是互相独立的。如果两个或多个解释变量间出现了相关性，则成为多重共线性。 针对多元线性回归中的多重共线性问题，采用岭回归、主成分分析和偏最小二乘回归来解决 岭回归：需要根据定性和定量分析确定一个合适的k,则可以很好消除共线性影响 主成分回归和偏最小二乘回归：考虑成分提取的方法进行回归，特别偏最小二乘与因变量的关系，回归效果较主成分好 共线性诊断常用统计量：方差膨胀因子VIF（或容量TOL）、条件指数和方差比例 VIF>10=》模型有很强的共线性关系 1、条件指数在10与30间为弱相关 2、条件指数在30与100之间为中等相关 3、条件指数大于100为强相关；在大的条件指数中由方差比例超过0.5的自变量构成的变量子集就认为是相关变量集 三种解决方法： 岭回归：当出现多重共线性时，有|X^X|~=0,从而使得参数不稳定，给X^X加上一个正常数矩阵KI，在用此估计参数要比普通最小二乘估计稳定 主成分回归：设自变量的相关系数矩阵为R,单独考虑对自变量做主成分提取，过程： 1、求R的前m个非零的特征值以及相应的特征向量 2、求m个主成分 偏最小二乘回归：首先在自变量中提取第一潜因子t1,（t1是自变量的线性组合，且尽可能多的提取原自变量集中的变异信息，比如第一主成分）；同时在因变量集中叶提取第一潜因子u1，要求t1和u1的相关程度达最大。然后建立因变量y和t1的回归，如果回归方程已达到满意的精度，则算法终止。否则继续第二轮潜在因子的提取，直到满意的精度为止。偏最小二乘回归建立y与t1,t2,...,tl的回归式，然后表示为y与原自变量的回归方程。 |
|
|
