分享

经典推荐 | 逐步回归分析法及其应用

 张春强2022 2017-09-22

导读:逐步回归分析是多元回归分析中的一种方法,在经济研究建模中发挥着重要的作用。文章系统介绍了逐步回归分析,并分析了逐步回归分析在经济研究(建模与预测)中的应用步骤与需要注意的问题。


来源 | 统计与决策

作者丨游士兵,严研,武汉大学经济与管理学院

原文有删减


01

引言


逐步回归分析是多元回归分析中的一种方法。回归分析是用于研究多个变量之间相互依赖的关系,而逐步回归分析往往用于建立最优或合适的回归模型,从而更加深入地研究变量之间的依赖关系。目前,逐步回归分析被广泛应用于各个学科领域,如医学、气象学、人文科学、经济学等。

经济现象纷繁复杂并多变,经济问题往往需要研究一个(或多个)变量(如一国的产出)与其他变量(如资本、劳动力、人口、技术等)相互间的关系,从而揭示经济现象背后的经济规律,用于解决现实中的经济问题,制定经济政策等。因此,多元回归分析在现代经济学,尤其是其分支学科计量经济学中常常得到应用。随着统计学与计量经济学软件的开发与应用,经济研究者在经济学的实证分析过程中越来越多的采用逐步回归分析的方法来建立多元回归模型。因此,研究逐步回归分析及其在经济学研究中的应用具有理论与实践意义

目前,国内外对于逐步回归分析的研究主要停留在理论叙述,不少学者提出了修正逐步回归法的新方法,如类逐步回归法、基于单元步的逐步回归法、“宜取回归方程”的逐步回归法等。赵希男(1994)提出并在理论上证明可将逐步回归算法从静态系统拓广到其他系统(动态系统、分布参数等系统)。传统的逐步回归法通常用于静态系统,即自变量为非随机变量时。当自变量为分布型变量时,基于传统的逐步回归法,由于统计量的分布非常复杂,基于统计量的算法难以实现。该文运用泛函分析,按照传统逐步回归法一致思想和相似的步骤,加以拓广,以有效性(剩余相关系数)为标准剔除或是引入变量,从而使得逐步回归法应用范围更广。张华嘉、舒元(1998)提出单元步的概念来修正传统逐步回归法,并以实例证明这种方法的优势。逐步回归法的自变量个数可能偏小,而向后回归法可能纳入更多的变量,同时带来多重共线性。为了避免多重共线性并包含更多的变量,他们分析向后回归法较逐步回归法而多余的变量,以一个或几个变量为一单元步(当去掉该单元步中所有变量时其余变量显著,而去掉其中某一部分变量,单元步中剩余的变量总存在不显著变量)。确定单元步变量之后,以单元步为整体,确定是否剔除单元步。陈全润、杨翠红(2008)提出了基于残差项绝对值加权和最小准则下的回归估计,以有效性为指标来选择剔除或是删除变量的类逐步回归法。

而经济学者多直接采用这一方法研究各种经济问题,而忽略这种方法可能存在的问题与局限性。而且在具体应用逐步回归分析法时,不同的研究者常采用不同的算法。

逐步回归法作为建立最优线性回归模型的一种方法,在经济研究中也得到广泛的应用,尤其是在经济建模与预测中。因为逐步回归法简单易行,所得的回归方程的变量较少,并保留了影响最显著的重要变量,而且在实践中这种方法也被证明较为有效,预测精确度较高;同时经济变量之间往往存在相互关系,即经济变量可能存在多重共线性,而逐步回归在一定程度上可以修正多重共线性。

本文将全面、系统地阐释逐步回归分析,从经济建模与预测角度进行探讨,并说明逐步回归分析在经济研究中的具体应用、局限性以及可能存在的问题。


02

逐步回归分析的基本思想


逐步回归分析建立于线性回归模型的基础上,本文将以经典的多元线性回归模型为例进行阐释。在建立模型过程中,需要选择合适的变量。如果变量过多,可能会导致预测精度下降,或者有时收集某些变量的数据成本很高,从而不得不放弃某些变量。当然如果影响显著的变量没有包括在模型内,也会影响预测精度。因此,需要进一步解决的问题是建立“最优”的回归方程,这里“最优”的回归方程,通常是指模型中包含所有对因变量 Y 影响显著的自变量,而不包含对因变量 Y 影响不显著的自变量。建立“最优”的回归方程主要有三种方法。一种是计算量很大的全子集法,以某一确定准则来确定最优回归子集;另一种是“最优”子集的变量筛选法,该方法基于偏回归平方和检验逐步引入变量或是逐步剔除变量或是两者结合,包括向前引入法、向后剔除法与逐步回归法(即逐步回归分析);第三种是计算量适中的选择法。

逐步回归法可以认为是向前引入法与向后剔除法的综合。逐步回归法克服了向前引入法与向后剔除法的缺点,吸收两种方法的优点。逐步回归法是以向前引入为主,变量可进可出的变量选取方法。它的基本思想是,当被选入的变量在新变量引入后变得不重要时,可以将其剔除,而被剔除的变量当它在新变量引入后变得重要时,又可以重新选入方程。


03

多重共线性与逐步回归


应用逐步回归法修正多重共线性逐步回归法用于多重共线性的检验。逐步回归法的基本思想是逐个引入新的变量。考虑是否引入新的变量时,若偏回归平方和变化显著,则可以引入,否则不引入。此时,若偏回归平方和经检验显著,则表明可以认为新变量是独立的解释变量,而不可以由其他解释变量(近似)线性表示,否则说明新变量不独立。

逐步回归分析应用中应注意的问题

建立经济模型是分析研究经济问题的一个有效而常用的途径。将逐步回归法应用于经济建模与预测必须将其置于经济大背景下,把研究对象作为经济问题,而非单纯的统计学问题来考察。应用逐步回归法建立经济模型时,应该基本遵循以下步骤,并设定理论模型为多元线性回归模型:第一,选取合适的变量;第二,样本数据的收集与整理;第三,模型参数估计;第四,应用逐步回归法并结合其他的模型检验,确定最优的线性回归方程;第五,根据上述模型,分析实际问题,得出结论或是提出政策建议等。

逐步回归的基本思想是逐个引入新变量,每引入一个新变量时考虑是否剔除已选变量,直至不再引入新变量。这种方法既保障了方程能保留影响显著的变量,又能够剔除非显著的变量。它以向前回归为主,结合向后剔除法,通常可以获得较好地拟合效果,因此,被广泛应用于经济建模与预测。不过,这并不代表逐步回归法就是毫无缺陷的方法。理论上,在变量个数较少时,全子集法是能够获得在某一准则下的最优回归方程,而且计算量也在可以接受的范围,相对于逐步回归法可能更优。而逐步回归法则依赖于人为确定的显著性水平,不同的显著性水平可能得到的结果不一样,而且也很难给出理论上证明其回归方程的最优性。换言之,逐步回归法只是一种实践上较为有效的方法,理论上它没有被证明所得到的回归方程即为最优的回归方程。

考察运用逐步回归法建立最优回归模型的经济论文,能够发现一些问题。归纳总结这些问题,才能更好地运用这一方法解决经济问题。

(1)在经济建模与预测的应用中,对逐步回归的具体操作有很大不同。有些学者使用向前引入法,逐个将变量引入方程;而有些学者使用的本质上是向后剔除法,逐个剔除变量;还有部分学者,做了多次逐步回归,然后以一些标准综合比较结果以选择最优的。这些情况都充分说明了经济研究中本质上采纳的是逐步回归法的基本思想,而不一定与多元统计分析理论当中的逐步回归分析完全一致,也体现了逐步回归分析在经济建模运用中的灵活性。但是,对于同一经济问题建立模型,向前引入法与向后剔除法、严格的逐步回归法得到的结果是否一致,结果是否最优都是值得思考的问题。

(2)在经济建模中,逐步回归法选取或剔除变量往往同时结合各种检验,包括经济意义检验、统计学检验、计量经济学检验、模型预测检验等。逐步回归法虽然一定程度上避免了多重共线性,但是其他问题(如随机干扰项的异方差性、序列相关性、随机解释变量问题)却无法全部得到解决,因此逐步回归法需要经过经济意义检验、统计学检验、计量经济学检验等多重检验。经济模型一个重要的应用在于经济预测,模型的预测精确度是考察模型优劣性的一个重要指标,所以逐步回归法需要通过模型预测检验。

(3)在经济建模的整个过程中,一定要考虑解释变量间、解释变量与被解释变量间的经济关系,或者考察经济环境,不能忽视经济理论与经济行为规律,毕竟研究目的不仅是单纯地处理分析样本数据,而是想要通过揭示变量的客观的数据关系,从而进一步揭示变量之间的规律。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多