在标准回归分析(强制进入法)中,研究者把所有理论上相关的自变量一次性放进模型。但当候选变量较多(例如问卷有 20 个潜在预测因子),或研究处于探索阶段还没有明确的理论依据时,逐步回归提供了一种数据驱动的变量筛选思路:让算法按照 p 值规则自动决定哪些变量进入、哪些被剔除。
典型使用场景:
逐步回归不是单一算法,而是三种策略的统称,选择不当会直接影响结果质量:
| 策略 | 英文名 | 起点 | 运作方式 | 适合场景 | 主要风险 |
|---|---|---|---|---|---|
| 向前法 | Forward | 空模型(仅截距) | 每轮把 p 值最小且满足进入标准(p < 0.05)的变量添加进来;直到没有变量满足条件为止 | 候选变量极多、预计显著变量较少;计算效率高 | 早期进入的变量会影响后续变量的筛选;变量一旦进入不会被剔除 |
| 向后法 | Backward | 全模型(所有变量) | 每轮把 p 值最大且满足移出标准(p > 0.10)的变量剔除;直到所有剩余变量均显著 | 样本量充足(n:p ≥ 20:1);更能考虑变量间联合作用;通常被认为比向前法稳健 | 自变量数接近样本量时全模型无法估计 |
| 逐步法 | Stepwise | 空模型 | 结合向前和向后:每添加一个变量后,重新检查已有变量是否仍显著,不显著则剔除 | 默认推荐,兼顾添加与剔除;chatspss 默认方法 | 多次检验使 p 值膨胀;结果最不稳定,样本敏感性最高 |
上传数据后,在对话框输入以下格式的指令,chatspss 会自动调用 stepwise_regression 工具,按 p 值规则筛选变量并生成结果表:
"用逐步回归筛选预测GPA的显著变量,候选自变量包括:课时数、自习时长、睡眠质量、压力感知、社交时间"
"用向后法做逐步回归,分析哪些营销因素显著影响复购率,进入标准设为0.01"
支持的参数(可在指令中直接描述):
"stepwise"(默认)、"forward"(向前法)、"backward"(向后法)逐步回归输出与普通回归类似,但有两个专属关注点:
逐步法高度"迎合"当前样本的随机波动,最终模型往往在训练数据上表现良好,但在新数据上预测能力明显下降。变量越多、样本量越小,过拟合越严重。建议:样本量至少是候选变量数的 20 倍以上;若目的是预测,应在独立测试集上验证模型。
每次变量进出都是一次假设检验。逐步过程中进行了数十次甚至上百次检验,但最终报告的 p 值没有经过校正,导致误报率被严重低估——即"找到显著结果"的概率远高于 5%。这是逐步回归最核心的统计缺陷。
同一数据集,添加或删除几个样本、调整 p 值阈值,入选变量集合可能完全改变。若两种筛选策略(向前/向后)的结果差异很大,说明该数据的"信号"不够强,慎重解读任何一个版本的结论。
逐步回归是数据驱动的,它只告诉你"在这批数据里哪些变量和结果相关且有统计显著性",并不能替代理论驱动的因果分析。在解释性研究(如验证某个机制)中,应优先使用强制进入法,依据理论选择变量。
| 场景 | 推荐? | 说明 |
|---|---|---|
| 探索性研究、变量初筛 | 适合 | 帮助从大量候选变量中缩小范围,后续用理论驱动方法验证 |
| 大样本预测模型构建 | 适合 | n:p ≥ 20:1,目的是获得精简预测模型,结合测试集验证 |
| 论文核心假设验证 | 谨慎 | 需说明使用逐步法的合理性,并用稳健性检验补充 |
| 小样本(n < 100) | 不推荐 | 结果极度不稳定,过拟合风险极高 |
| 因果机制解释 | 不推荐 | 应使用理论驱动的强制进入法或分层回归 |
强制进入法把研究者指定的所有自变量一次性全部放入模型,不做任何筛选,适合已有理论依据或假设驱动的研究。逐步法让算法根据 p 值阈值自动决定哪些变量留在模型里,适合候选变量较多而理论依据不足的探索性研究。本质区别:谁来决定变量进出——研究者还是算法。
有条件的可靠。主要风险有三:一是过拟合,模型高度拟合当前样本但泛化能力弱;二是 p 值膨胀,多次检验导致误报率被低估;三是结果不稳定,样本微小变化可能导致入选变量集合完全不同。因此逐步回归更适合探索性分析或大样本的变量初筛,而非用作最终解释性模型。重要结论需在独立样本上验证。
没有绝对优劣,取决于研究背景。向前法从空模型逐步添加,计算效率高,适合候选变量极多但显著变量预计较少的情形。向后法从全模型逐步删除,能考虑变量间的联合作用,样本量足够时通常更稳健;但若自变量数接近样本量,全模型无法估计则无法使用向后法。实践中最好三种策略都跑一遍,比较结果差异——差异大则说明模型不稳定。
chatspss 默认进入标准 p_enter = 0.05、移出标准 p_remove = 0.10,这也是 SPSS 的默认值,是学术界最常用的设置。进入标准比移出标准严格可防止变量在模型中反复进出(振荡)。若追求更严格的筛选可将 p_enter 设为 0.01;若候选变量很多且样本量充足,可适当放宽至 p_enter = 0.10。论文中必须报告所使用的阈值。
共线性(多重共线性)是指两个或多个自变量之间高度相关。逐步回归无法解决共线性问题——当变量间存在高共线性时,变量筛选结果会更不稳定(两个高相关变量可能只有一个被选中,而选哪个具有随机性)。建议在做逐步回归前先排查共线性,详见 共线性诊断。
回归分析(模型解读) | 共线性诊断 | 逻辑回归