[科普中国]-逐步回归

逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行F检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入变得不再显著时，则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。

依据上述思想，可利用逐步回归筛选并剔除引起多重共线性的变量，其具体步骤如下：先用被解释变量对每一个所考虑的解释变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础，再逐步引入其余解释变量。经过逐步回归，使得最后保留在模型中的解释变量既是重要的，又没有严重多重共线性。

简介逐步回归是一种线性回归模型自变量选择方法，其基本思想是将变量一个一个引入，引入的条件是其偏回归平方和经验是显著的。同时，每引入一个新变量后，对已入选回归模型的老变量逐个进行检验，将经检验认为不显著的变量删除，以保证所得自变量子集中每一个变量都是显著的。此过程经过若干步直到不能再引入新变量为止。这时回归模型中所有变量对因变量都是显著的。

逐步型选元法逐步回归法选择变量的过程包含两个基本步骤：一是从回归模型中剔出经检验不显著的变量，二是引入新变量到回归模型中，常用的逐步型选元法有向前法和向后法。

向前法：向前法的思想是变量由少到多，每次增加一个，直至没有可引入的变量为止。具体步骤如下。

步骤1:对 p 个回归自变量 分别同因变量 Y 建立一元回归模型

计算变量 ，相应的回归系数的 F 检验统计量的值，记为 ,取其中的最大值 ，即

对给定的显著性水平 ，记相应的临界值为 ， ，则将 引入回归模型，记 为选入变量指标集合。

步骤2:建立因变量 Y 与自变量子集 的二元回归模型（即此回归模型的回归元为二元的），共有 个。计算变量的回归系数 F 检验的统计量值，记为 ，选其中最大者，记为 ,对应自变量脚标记为 ，即

。

对给定的显著性水平 ，记相应的临界值为 ， 则变量 引入回归模型。否则，终止变量引入过程。

步骤3:考虑因变量对变量子集 的回归重复步骤2。

依此方法重复进行，每次从未引入回归模型的自变量中选取一个，知道经检验没有变量引入为止。

向后法与向前法正好相反，它事先将全部自变量选入回归模型，任何逐个剔除对残差平方和贡献较小的自变量。1

实施过程逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，若显著则该变量不必从回归方程中剔除，这时方程中其他几个变量也都不需要剔除（因为其他几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量需要剔除，然后按偏回归平方和由小到大地依次对方程中其他变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。接着再对未引入回归方程中的变量分别计算其偏回归平方和，并选其中偏回归方程和最大的一个变量，同样在给定水平下作显著性检验，如果显著则将该变量引入回归方程，这一过程一直持续下去，直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归过程结束。

本词条内容贡献者为:

尚华娟 - 副教授 - 上海财经大学