|
利用政策变更等“[准]自然实验”（[quasi- ] natural experiment）辅助因果推断是会计与金融实证研究中的常用方法。据Heath et al.（2020）统计，2013~2018年间在国际Top 3的会计（金融）期刊发表的文章中，接近10%（17%）的文章提到了“[准]自然实验”等相关字段。然而，当一个自然实验被某位学者首先检验后，后续学者往往重复使用该实验去研究不同的结果变量（outcome variables）。例如，Karpoff and Wittry（2018）发现至少有80篇学术论文使用美国各州的企业合并（或反收购）法案作为识别策略，Black et al.（2019）发现至少有40篇学术论文使用美国的Regulation SHO作为识别策略。当一个自然实验被用于研究N个因变量后，多重检验问题（multiple testing problem）也随之而来。美国四位金融学者，Davidson Heath、Matthew C. Ringgenberg（MS & JFQA Associate Editor）、Mehrdad Samadi、以及Ingrid M. Werner（JF Associate Editor），就该问题撰写了工作论文“Reusing Natural Experiments”（JFE Revise&Resubmit），本文将通过提炼该文主要观点，介绍多重检验问题的原理与解决手段，以飨读者。 多重检验问题又称为多重假说检验问题（multiple hypothesis testing problem），其本质来源于统计上第一类错误（Type I error）的“堆叠”。研究中发现显著的结果，其统计内涵为研究结果在一定的显著性水平上（即α，如5%）拒绝了原假说，或（不严谨地）称之为支持了所提出的备择假说。当然，存在α%的概率会错误地拒绝实质为真的原假说，即获得了支持实质为伪的备择假说的显著结果（即false positive，如下图）。当对同个设定检验多个研究假说时，犯此类错误的概率就会几何增长。譬如，以5%的显著性水平为例，检验一个研究假说时，犯第一类错误的概率为5%，不犯错误的概率为95%；检验N个研究假说时，不犯错误的概率为95%N（95%的N次方），至少会犯一次第一类错误的概率为1-95%N；而当N等于50时，至少会犯一次第一类错误的概率高达92.3%！  多重检验问题并非新概念，在基因学等领域研究中极为常见。例如，一个典型的DNA芯片实验即能获得大量基因序列相关资讯，假设可以执行10000次独立的备择假说检验。纵然这10000次备择假说检验在实质上都为伪，但在5%的显著性水平下，统计上仍有5%的概率能够发现“显著”，即能够发现500个伪显著的结果。但这500个“显著”结果是极为随机的，即完全由第一类错误所导致。在会计与金融实证研究中，多重检验问题可能普遍存在于众多学术研究情境（例如“一个X研究N个Y”），但对于政策变更等自然实验情境最为严重。其原因在于，基于自然实验的各研究问题看似不同，但在本质上均是依赖着同来源的外生变化研究一个根本问题：该自然实验的效应是什么？因此众多的研究检验实为同一个“家庭集合”，贴合着上述基因学研究的情境。随着自然实验在研究中的重复使用，不解决多重检验问题将带来极大的研究偏误：Heath et al.（2020）分别使用美国各州的企业合并（或反收购）法案与Regulation SHO复制了现有研究表明有显著影响的23个因变量，发现在调整了多重检验偏误后，仅剩下1~4个因变量仍能保持显著性！ 如何解决多重检验问题？Heath et al.（2020）根据Romano and Wolf（2005，Econometrica）等文献提供了一套p值调整流程，详情请参阅原文。提炼而言，该流程要求研究者需要回溯已有的针对该自然实验的研究结论，利用Bootstrap抽样等技术确定现有研究问题下t值的阈值。无疑，这种方法有着巨大的成本。但该论文也提供了一些便于评估的经验法则：考虑5%的显著性水平，若同一自然实验已经研究了5个因变量，那么t值阈值不再是1.96，而是2.50；若同一自然实验已经研究了20个因变量，那么t值阈值将为3.0。换言之，对于同一个自然实验的现有研究越多，后续研究需要取得更高的t值，才能获得“真正的”显著结果。 作为一篇可能影响会计学、金融学乃至经济学学术研究“生产标准”的论文，该论文在SSRN上线后即在美国经济金融学术圈内引起了热烈讨论，褒贬不一。但客观存在的事实是，目前已经有越来越多的学术论文引用了该论文的观点，用以评估自身实证结果的可靠性，例如Gao, Li and Ma (2020 JFQA)。新加坡管理大学的会计博士项目亦将该文列入其“Analytical and Empirical Methods in Accounting”课程的文献阅读目录。 原 文 摘 要 Reusing Natural Experiments Davidson Heath Matthew C. Ringgenberg Mehrdad Samadi Ingrid M. Werner Revise and Resubmit at Journal of Financial Economics (updated in April 2020) (Submission information is disclosed by Professor Mehrdad Samadi) [Abstract] After a natural experiment is first used, other researchers often reuse the setting, examining different outcome variables. We examine the consequences of reusing an experimental setting using two extensively studied natural experiments, business combination laws and the Regulation SHO pilot. We apply multiple hypothesis corrections and our findings suggest many results in the existing literature are false positives. We provide guidelines for inference when an experiment is reused using simulation evidence for several popular empirical settings including difference-in-differences regressions, instrumental variables regressions, and regression discontinuity designs.
|
|
|
