|
撰文/郭以馨 整理/鲁蔚征
2021年诺贝尔经济学奖颁发给了因果推断领域学者，因果推断和机器学习、经济学之间可以有诸多可结合的方向，或许就是你下一篇论文的内容。 机器学习实证分析可充分利用计算机的算力，是一部分经济学研究者正在进行的研究方向。尽管当前计量经济学的方法已经日渐成熟，但就像一些统计学家指出的那样，实证领域的研究不应该只依赖于数据模型(data models)，对数据模型的过度依赖，常常产生一些无关的理论和经不起推敲的结果。相反，一些算法模型，尽管没有清晰的可解释机制，但却有良好的拟合效果和解决实际问题的能力[8]。机器学习就是一种典型的算法模型，它利用已有的数据，进行算法选择，并基于算法和数据构建模型。大致上，机器学习的算法可以分为两种类型：监督学习和非监督学习。监督学习的任务是建立起一个将输入准确映射到输出的模型，当给模型输入新的值时就能预测出对应的输出。因此，它要求用于训练的数据集同时包含输入和输出的数据。与监督学习相比，非监督学习的训练集中没有人为标注的结果，即不需要包括输出的数据。其学习的目的则是为了推断出数据的一些内在结构，对数据进行分类或降维[9]。 机器学习相比于传统计量经济学方法存在的一些优势，使得许多经济学家在实证研究中采用了机器学习的算法。首先，无监督学习的算法可以对数据进行分类，从而创造出实证研究中所需要的变量[2]，这是传统计量经济学方法难以做到的。比如Athey[1]在研究Google新闻停业会对读者阅读新闻的类型造成何种影响时，采用了一种非监督算法：社区检测（community detection），对样本中的新闻进行了分类，从而创造出了研究所需要的因变量。 机器学习的另一个核心优势在于，它的算法会比较不同模型在同一套数据下的表现，并选择其中最好的一种。这种数据导向（data-driven）的模型调试是其算法的一部分。而传统的计量经济学则是根据一定的原则，先选择模型，再用确定的模型进行估计。这有助于减少模型设置上的主观性。比如，[15]将生成对抗神经网络（Generative Adversarial Nets）算法运用到经济学的结构估计（structural estimation）中，以取代模拟矩估计（simulated method of moments），从而解决矩条件选择的主观性。 机器学习还有一个最显而易见的长处，那就是相比于常见的计量经济学方法，它是一个更为灵活而强大的预测工具，尤其是在大样本的条件下[17]。如果仅用拟合优度作为衡量估计效果的标准，机器学习的算法总是能有出色的表现[2]。因此，当实证中研究的主要问题涉及到预测，机器学习算法会是更好的选择。比如，[18]基于神经网络算法，使用卫星观测数据，预测了五个非洲国家的经济增长。[3]将Bengio[6, 7]提出的神经概率语言模型（neural probabilistic language model）结合到离散选择模型中，构建了一个包含潜向量的消费者超市购物行为预测模型，并基于超市零售数据，利用变分推断算法（varaitional Inference）估计了这个模型中参数的分布形式。 机器学习与计量经济学但是我们也必须看到，即便机器学习在众多人工智能领域取得突破性进展，存在诸多准确度上的优势，它在当前经济学实证研究中的应用也谈不上很广泛，究其原因，还是在于机器学习与传统计量经济学的范式存在较大的差异，其算法估计的结果未必具备经济学实证所要求的性质。无论是采用极大似然估计（Maximum Likelihood Estimate)、最小二乘法（Ordinary least squares）还是广义矩估计（Generalized method of moments），亦或是其它的估计方法，计量经济学所侧重的都是估计量在大样本下的性质及其置信区间的构建。而机器学习的算法则侧重于对变量的预测效果和拟合优度，但无法直接实现经济学实证中所重视的因果推断。具体来说，在经济学的实证研究中要求估计量起码具备一致性，即随着样本量的扩大，估计量会逐渐收敛于真值。一致性确保了实证中估计的量就是研究关注的参数，从而使得计量经济学模型具备了解释力和政策内涵。但是机器学习算法的结果，不一定具备一致性[17]。这使得机器学习的算法虽然具备更好的预测能力，但却不具备和计量经济学模型那样的解释能力和因果推断能力。而这些能力的缺乏则会削弱实证研究对政策的指导意义。另一方面，机器学习的结果往往难以构建置信区间，从而无法检验参数显著性。计量经济学往往依赖对变量分布形式的假设或分布的渐进性质，得到参数的标准差，进而检验其显著性。机器学习的算法往往无法得到标准差，也很难证明分布的渐进性质，从而无法检验估计结果的显著性。 将机器学习运用到经济学的实证研究中，需要发挥它在数据分类、模型调试以及预测能力上的优势。同时也要尽量避免机器学习在因果推断上的不足。当前许多实证研究采取的策略就是将机器学习算法嵌入到因果推断的框架中，并把预测和拟合的工作尽量交给其完成。比如[16]利用随机森林（random forest）算法辅助计算倾向得分（Propensity scores），从而估计平均处理效应（Average Treatment Effect）。[4]利用分类决策树算法，研究处理效应中的异质性。[11]用线性组合函数来取代双重差分中的算术平均以及合成控制法（SCM）中的加权平均，更好地构建反事实。还有很多研究采用套索回归（LASSO）、岭回归（Ridge）、神经网络(neural net)等算法拟合工具变量的第一阶段[5, 10, 13]。不管是倾向得分匹配法（PSM），还是双重差分法，亦或是工具变量法，本身都能有效地进行因果推断。在这些框架中引入机器学习，是利用机器学习出色的预测和拟合能力，提升这些模型本身的估计效果，同时规避了机器学习无法进行因果推断的缺陷。 因果推断前文已经提到，机器学习过于依赖统计相关的建模方式，存在着严重的理论缺陷：缺乏因果关系考虑，仅从数据中学习到的相关性可能是错误的。首先，利用相关性学习的模型，泛化能力和稳定性差，极易受到场景变化或数据中异常值的影响；再者，过度依赖数据拟合的机器学习模型就像是一个黑盒子，缺乏可解释性。 工业界和学术界存在大量使用因果推断改进机器学习模型的研究和应用案例。因果推断是当下人工智能、机器学习、统计学和经济学领域的热门话题之一。2021年诺贝尔经济学奖授予Card、Angrist、Imbens 三位学者，以表彰他们在经济学的实证研究和因果推断方法方面的贡献。其中，Card 因其在劳动经济学的实证研究中做出的重要的贡献而获奖。Angrist 和 Imbens 因其在基于因果关系分析的经济学研究方法上做出的重要贡献获奖。上述三位获奖人都在使用观察性数据回答因果问题的方面做出了突出贡献。 因果推断和机器学习、人工智能的研究之间有很多可以结合的方向，但仍有诸多问题悬而未决，或许这正是你下一个科研的方向。 案例、代码与数据[16]Machine Learning in Policy Evaluation: New Tools for Causal Inference一文中，利用随机森林（random forest）算法辅助计算倾向得分（Propensity scores），从而估计平均处理效应（Average Treatment Effect）。 源代码：https://github.com/KDiazOrdaz/Machine-learning-in-policy-evaluation-new-tools-for-causal-inference 校内版本：https://git./cc/machine-learning-in-policy-evaluation-new-tools-for-causal-inference [4]Recursive Partitioning for Heterogeneous Causal Effects一文中使用了数据驱动的范式研究了不同人群的处理效应。 源代码：https://github.com/susanathey/causalTree 校内版本：https://git./cc/causaltree 以上两个案例基于R语言，人大师生可以在校级计算平台（https://cc.）中申请 RStudio 资源，进行编程实验。 [12]SHOPPER: A probabilistic model of consumer choice with substitutes and complements一文中对购物数据进行建模，并开发了一个概率模型，该模型可以观测到用户如何选择商品。 源代码：https://github.com/franrruiz/shopper-src 校内版本：https://git./cc/shopper-src 主要基于 CUDA C++，需要使用GPU资源。 对于反事实预测问题，[14]Counterfactual prediction with deep instrumental variables networks一文中，基于深度学习，对工具变量进行预测，提出了一种灵活的反事实预测方法。 源代码：https://github.com/jhartford/DeepIV 校内版本：https://git./cc/deepiv 主要基于 Python Keras，需要使用GPU资源。 以上两个案例需要GPU资源，人大师生可以在校级计算平台（https://cc.）中申请 JupyterLab 资源，进行编程实验。 人大校级计算平台使用手册：https://cc./help/ 如在使用中遇到任何问题，请发送邮件至 hpc@ 我们将及时回复。 参考文献[1] Athey, S., Mobius, M., & Pal, J. (2021). The impact of aggregators on internet news consumption (No. w28746). National Bureau of Economic Research. [2] Athey, S. (2018). The impact of machine learning on economics. The economics of artificial intelligence: An agenda, 507-547. [3]Athey, S., & Imbens, G. W. (2019). Machine learning methods that economists should know about. Annual Review of Economics, 11, 685-725. [4]Athey, S., & Imbens, G. (2016). Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences, 113(27), 7353-7360. [5]Belloni, A., Chen, D., Chernozhukov, V., & Hansen, C. (2012). Sparse models and methods for optimal instruments with an application to eminent domain. Econometrica, 80(6), 2369-2429. [6]Bengio, Y., Ducharme, R., Vincent, P. and Janvin, C. (2003). A Neural Probabilistic Language Model. Journal of Machine Learning Research 3 1137–1155. [7]Bengio, Y., Schwenk, H., Senécal, J. S., Morin, F. and Gauvain, J. L. (2006). Neural probabilistic language models. In Innovations in Machine Learning Springer. [8] Breiman, L. . (2001). Statistical modeling: the two cultures (with comments and a rejoinder by the author). Statistical Science, 16(3), 199-215. [9]Bishop, C. M., & Nasrabadi, N. M. (2006). Pattern recognition and machine learning (Vol.4, No. 4, p. 738). New York: springer. [10]Carrasco, M. (2012). A regularization approach to the many instruments problem. Journal of Econometrics, 170(2), 383-398. [11]Doudchenko, N., & Imbens, G. W. (2016). Balancing, regression, difference-in-differences and synthetic control methods: A synthesis (No. w22791). National Bureau of Economic Research. [12]Francisco J. R. Ruiz. Susan Athey. David M. Blei. SHOPPER: A probabilistic model of consumer choice with substitutes and complements. Ann. Appl. Stat. 14 (1) 1 - 27, March 2020. [13]Hansen, C., & Kozbur, D. (2014). Instrumental variables estimation with many weak instruments using regularized JIVE. Journal of Econometrics, 182(2), 290-308. [14]Hartford, J., Lewis, G., Leyton-Brown, K., & Taddy, M. (2016). Counterfactual prediction with deep instrumental variables networks. arXiv preprint arXiv:1612.09596. [15] Kaji, T., Manresa, E., & Pouliot, G. (2020). An adversarial approach to structural estimation. University of Chicago, Becker Friedman Institute for Economics Working Paper, (2020-144). [16]Kreif, N. & DiazOrdaz, K. (2019). Machine Learning in Policy Evaluation: New Tools for Causal Inference. Submitted to arXiv.org Statistics / Machine Learning on 01-03-2019 (v1). [17] Mullainathan, Sendhil, Spiess, & Jann. (2017). Machine learning: an applied econometric approach. Journal of Economic Perspectives. [18] N. Jean, M. Burke, M. Xie, W. M. Davis, D. B. Lobell, and S. Ermon. Combining satellite imagery and machine learning to predict poverty. Science, 353(6301):790–794, 2016. |
|
|
