|
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问. 
关于下方文字内容，作者：赵哲浩，南京审计大学经济学院，通信邮箱：zhaozhehao2022@126.com John Gibson, Susan Olivia, Geua Boe-Gibson, Chao Li, 2021, Which night lights data should we use in economics, and where? Journal of Development Economics.
Popular DMSP night lights data are flawed by blurring, top-coding, and lack of calibration. Yet newer and better VIIRS data are rarely used in economics. We compare these two data sources for predicting GDP, especially at the second subnational level, for Indonesia, China and South Africa. The DMSP data are a poor proxy for GDP outside of cities. The gap in predictive performance between DMSP data and VIIRS data is especially apparent at lower levels of the spatial hierarchy, such as for counties, and for lower density areas. The city lights-GDP relationship is twice as noisy with DMSP data than with VIIRS data. Spatial inequality is considerably understated with DMSP data, especially for the urban sector and in higher density areas. A Pareto adjustment to correct for top-coding in DMSP data has a modest effect but still understates spatial inequality and misses key features of economic activity in big cities. 经济学中应使用哪些夜灯数据，又在哪里使用？ 一．摘要本文探讨哪种夜间灯光数据在经济研究中具有更好的代表性。目前，学术界普遍使用的DMSP夜间灯光数据存在数据模糊、顶部编码和缺乏校准等缺陷。与此相比，更新更好的VIIRS夜间灯光数据在经济学研究中使用较少。我们比较了这两种数据来源在预测印度尼西亚、中国和南非的GDP方面的表现，特别是在地方水平预测方面。我们发现，DMSP夜间灯光数据不能很好地预测城市以外的GDP，而在空间层次结构的较低层次（如乡村和较低密度地区），两种灯光数据在预测效果表现的差距尤为明显。DMSP数据中的噪声程度是VIIRS数据的两倍，在城镇和较高密度地区，DMSP数据大大低估了空间不平等的程度。虽然对DMSP数据中的顶部编码进行帕累托调整影响不大，但仍然低估了空间不平等，并忽略了大城市经济活动的关键特征。 二．引言夜间灯光由卫星探测而来，用来代表贫穷国家的当地经济活动特征。然而，虽然DMSP数据被经济学界广泛应用，但它存在模糊、粗分辨率、无校准、低动态范围、顶部编码和未记录的传感器放大变化等缺陷，这损害了时间和空间的可比性。尽管如此，DMSP数据仍然得到许多经济学家的支持和应用。DMSP数据在经济学界仍然广泛使用的原因在于，亨德森等人认为DMSP数据可以在广泛的情况下成功使用，这种观点在学界仍然具有广泛的影响。此外，DMSP数据从1992年至2013年具有较长的时间序列数据，对经济学家更具吸引力。DMSP最初的目的是探测用于空军短期天气预报的云层变化，而VIIRS数据的设计目的是为帮助研究人员在广泛的光照条件下持续测量来自地球的光的亮度。VIIRS数据具有较高的空间精度和时间可比性。在预测经济变量的空间差异方面，夜间灯光数据比时间差异方面更为适用。DMSP时间序列数据已经停止于2013年，而VIIRS数据每月提供，只有轻微的滞后。然而，目前经济学家对DMSP数据缺陷的认识仍然滞后，而且对VIIRS数据的优势尚未在经济学期刊中广泛传播。考虑到经济学中DMSP和VIIRS之间的比较有限，本文介绍了一项测试，以估计这些数据在农村和城市地区的区域GDP和不平等现象中的应用。我们特别关注印度尼西亚，因为它是少数几个具有可靠的第二级次国家单位GDP统计数据的发展中国家之一。夜间灯光数据对于发展中国家尤其有价值，因为富裕国家通常具有其他关于当地经济活动的信息来源，包括更传统的数据，例如副省级（如地区或县级）GDP估计。印度尼西亚作为一个重要的发展中国家，也具有其独特的价值。然而，为了提高我们结果的外部有效性，我们还报告了来自中国和南非的证据。在论文的主要部分，我们报告了497个空间单元中，夜间灯光和印度尼西亚第二级行政区的GDP之间的关系。然而，DMSP数据似乎不适合作为城市以外GDP的代理变量，因为DMSP灯光与非城市空间单元的实际GDP呈现负相关关系，而VIIRS数据则与GDP呈现正相关关系。● 夜间灯光代表性：DMSP数据似乎不是合适的指标来代表城市外GDP。实际上，DMSP数据与非城市空间单位的实际GDP呈负相关，而VIIRS数据则与GDP呈正相关。特别是对于低人口密度的农村地区，如果农业占GDP的很大比例，则DMSP数据与GDP呈负相关，否则则呈正相关。● 空间不平等测量：在印度尼西亚的城市部分，无论使用什么样的夜灯数据类型，灯光与GDP的关系都是正向的。但是，如果使用DMSP数据而不是VIIRS数据，则DMSP数据带来的噪音影响是VIIRS数据的两倍。DMSP数据大大低估了空间不平等性。即使基于帕累托的调整可以对处理DMSP数据的顶部编码进行平滑，但结果仍低估了不平等性。如果DMSP数据被用作当地经济活动的代表，特别是在城市部门或在更高密度的地区，空间不平等就会被低估。对于基于行政层次结构中较小或较低级别单元的分析，DMSP和VIIRS在预测能力方面的差距变得更大。● 不同部门GDP代表性：中国的数据能够将初级部门与工业和服务业的灯光数据与GDP的关系进行比较，表明夜灯数据并不能很好地反映初级部门的经济活动。因此，发展经济学家在使用夜间灯光数据时，应谨慎研究低密度的农村地区和城市发展的空间模式。DMSP数据缺乏空间精度。因为传感器和数据处理将光分配到不同的位置，DMSP卫星高度只有四分之一的宽度3000公里扫描传感器，所以远离地球最低点在一个角度和视场扩展，但所有光从这个扩大足迹归因于一个较小的像素中心；VIIRS在传感器扫描中具有接近恒定的空间分辨率，通过补偿扫描接近边缘时扩展的地面足迹。缺乏时间一致性导致基于DMSP的GDP估计时间序列的误差主要有两个来源。首先，没有车载校准，在每月的月球周期内，传感器放大的动态变化没有记录在数据中(Hsu et al., 2015)。此外，包含在DMSP年度复合数据的夜晚的数量与图像会议质量控制会随时间和空间变化，由于类似云层的因素（尤其是赤道附近）的原因，收敛到平均放大水平可能提供在时间和空间类似的数据是不可能实现的 (Gibson et al., 2020)。DMSP缺乏校准也表现为卫星间的差异。在使用DMSP年度复合数据的22年（1992年至2013年）中有12年的数据来自轨道上的两颗卫星，这些卫星所报告的数值往往非常不同。卫星间的差异和未记录的传感器放大变化使DN值从某个卫星年指的是相同的亮度相同的另一年DN值的认知具有怀疑性(Doll, 2008)。与DMSP的这些时间一致性问题相比，VIIRS传感器是经过校准的辐射计，其仪器测量光强，传感器在飞行中进行校准，以确保数据在时间和空间上具有可比性，与DMSP的6位数字数相比，连续信号以14位精度进行量化。DMSP数据的进一步缺陷源于传感器的动态范围有限。在通常情况下，通过传感器放大来查看云顶，城市中心的像素被光饱和，得到顶部编码的DN值为63。相比之下，VIIRS昼夜波段的动态范围约为7个数量级，因此VIIRS数据没有饱和问题。Bluhm和Krause（2018）建议灯光遵循帕累托分布（并使用更准确的VIIRS数据来验证这一点），并使用这个拟合分布来创建一组调整后的DMSP数据，以纠正顶部编码。除了DMSP数据中的这些缺陷之外，越来越明显的是，夜间照明的卫星数据（包括来自VIIRS的数据）不适合对低人口密度地区进行研究，其中包括大多数农村地区。一个原因是，乡村通常使用的那种灯不是那种容易从太空探测到的灯。虽然VIIRS可以更好地探测光线昏暗的地区，但接收VIIRS的Suomi卫星观测地球的立交桥时间在凌晨1点30分左右，而来自农村地区家庭部门的灯不太可能打开（而城市路灯往往会整夜亮）。1）本文选取VIIRS数据和DMSP数据，在印度尼西亚上区分出乡村和城市两块部分分别在预测当地GDP方面进行比较，但由于这种测试存在两个数据源的不完全的时间重叠的问题，为了确保最接近的同类比较，我们主要将注意力放在NOAA提供的年度复合数据上。2）本文将印度尼西亚划分出两种空间单元，一种称为卡布帕顿，主要是农村地区和城镇，平均（中位数）人口密度为每平方公里280人（83人）；另一种称为德科塔，主要是城市地区，2010年的人口普查中平均（中位数）人口密度为每平方公里3900人（2200人）。3）本文使用三个数据源来测试夜灯与印尼二级地方GDP之间的关系，第一个是2015年和2016年的VIIRS年度复合数据，这是最早，也是目前唯一的可用的年度复合数据，第二个数据来源是来自NOAA的2011年和2012年的DMSP年度复合数据，第三个数据来源是印度尼西亚政府的中央统计局（BPS）对区域国内生产总值（GRDP）的估计数。1）被解释变量ln(real GRDP)表示为地区i在t时刻的区域国内生产总值的对数值，核心解释变量ln(lights)是对地区i在t时刻的灯光总量的对数值的衡量；2）地区i在模型中包括印尼的卡布帕顿和德科塔，时间t中若灯光总量由DMSP表示则时间分为2011年和2012年，若灯光总量由VIIRS表示则时间分为2015年和2016年；3）δt 表示时间虚拟变量，其中包含代表2012年实际GDP下降陷入停滞的中央统计局的平减指数问题；为消除卡布帕顿里没有被DMPS和VIIRS检测到的灯光数据，我们对灯光数据使用逆双曲正弦变换处理。结果如表1所示，DMSP夜间灯光数据与实际区域GDP在合并回归模型中的弹性值为-0.059，且不具有显著性。在滞后回归模型中滞后一期和滞后二期的弹性值分别为-0.0881和-0.039，且仍都不具有显著性。两种模型的R2值都为0.01；相对照的是VIIRS夜间灯光数据与实际区域GDP的弹性值在合并回归模型和滞后回归模型都显著位于0.17至0.19之间，R2值都为0.05，其中地域单元内的R2值为0，说明地域单元间的影响比地域单元内的影响更加主要。 低人口密度的卡布帕顿地区（包括农村地区和一些城镇）中DMSP夜间灯光数据与实际区域GDP在合并回归模型中的弹性值为-0.11，德科塔地区（包括城市）中DMSP夜间灯光数据与实际区域GDP的弹性值为0.94，这种差距反映不同经济活动，人口密度和使用的夜间灯光数据的部门差异，德科塔地区的模型拟合度R2远远高于卡布帕顿地区。VIIRS灯光数据与卡布帕顿地区的关联弹性在两种模型种都位于0.08至0.09之间，与德科塔地区的关联弹性都位于0.93至0.95之间，因此尽管它对城市具有很高的预测性，却不是印度尼西亚这样国家的非城市地区GDP的合适数据代表。另一对比是DMSP灯光数据对德科塔地区无法预测的份额为64%，是VIIRS灯光数据对德科塔地区无法预测的份额32%的二倍。DMSP年度复合数据于2013年停止，VIIRS年度复合数据于2015年开始。我们可以部分处理2013年每月的VIIRS数据，得到年度估计，以便利用DMSP数据预测一年的GDP。为了去除2013年每月VIIRS数据中短暂的光源，我们使用2015年清洁的年度复合数据作为背景噪声屏蔽。换句话说，如果一个像素在从2013年开始的月度记录中被记录为有光，但在2015年显示为未亮区域，我们假设其光线一定是短暂的而忽略它，然后对2013年的几个月进行汇总，并像表2估计回归，我们得到的弹性为0.122，R2为0.0234。与表2中清洁的年度VIIRS复合数据估计的0.17或0.19相比，弹性属于减弱。即使有这些误差，VIIRS对2013年的估计也比DMSP数据更能预测地区GDP，因为后者的弹性为0.004，R2为0.00004，因此VIIRS数据比DMSP数据更高的预测能力仍然存在。将实际GDP和DMSP与VIIRS灯光的总和逐年汇总到省级水平，并重新进行汇总回归。结果显示无论任何灯光数据，模型结果都显示R2值提升至0.2，GDP与VIIRS的弹性上升到0.5，标准差为0.12；GDP与DMSP的弹性上升到0.01，标准差为0.002。因此如果使用更多的空间聚合数据，与VIIRS相比，DMSP在预测经济表现效果更差的现象就不那么明显了。为研究卡布帕顿地区中较低人口密度地区和较高人口密度地区的比较，我们以中位数人口密度每公里83.3人的标准划分样本，结果显示较低人口密度地区中用DMSP测量的GDP与夜间灯光的弹性为-0.31，标准差为0.04；用VIIRS测量的GDP与夜间灯光的弹性为-0.19，标准差为0.07。较高人口密度地区中用DMSP测量的GDP与夜间灯光的弹性为0.31，标准差为0.09；用VIIRS测量的GDP与夜间灯光的弹性为0.6，标准差为0.04。因此，在低密度农村地区，夜灯数据来源似乎都不能作为GDP的有效指标。表2中报告全部497个空间单位的基尼系数和Theil指数，以及分别报告卡布帕顿地区和德科塔地区的基尼系数和Theil指数。VIIRS数据的Theil指数为2.19，其不平等程度比DMSP数据的1.42高53%，这种差异尤其来自城市地区，VIIRS数据显示不平等比DMSP数据显示高64%。我们在下图1中扩展这一比较，显示使用DMSP数据和VIIRS数据计算的城市地区灯光的洛伦兹曲线。图中发现，使用DMSP数据描绘的洛伦兹曲线在所有点上都显著更接近相等线，其基尼系数为0.58，而使用VIIRS的基尼系数为0.71。
值得注意的是，使用GDP数据的空间不平等估计略高于VIIRS数据的估计，也远远高于DMSP数据的不平等估计，特别是当分解为卡布帕顿地区和德科塔地区时。因此使用DMSP数据会导致不平等估计会进一步远离GDP数据显示的结果，证明用DMSP数据会导致人们低估空间不平等。被低估的原因至少有两种，包括灯光模糊和顶部编码。通过使用由Bluhm和Krause（2018）开发的2011年和2012年的帕累托调整的DMSP数据测量不平等程度的方法，我们在表2发现帕累托调整只缩小了DMSP和VIIRS结果之间总体不平等差距的六分之一，这一结果意味着灯光模糊是更重要的问题。帕累托调整对城市地区表现更好，它缩小大约一半的差距，但不平等仍然被大大低估。因此使用DMSP数据来估计空间不平等可能低估其真实程度。下图2绘制印尼雅加达的夜间灯光数据情况，其中(a)图中2012年的DMSP稳定灯显示出很少的城市内异质性；82%的像素的DN值为63，17%的像素具有DN=62。人们无法看到城市中灯光最亮的位置，通过将所有区域视为同等亮度，DN值几乎就像一个虚拟变量，用来判断一个像素是否是城市的一部分。(b)中的地图显示2012年经帕累托调整后的DMSP数据中的城市内模式，光线最明亮的城市核心似乎是一个近似矩形的区域，南北方向约8公里，东西方向约6公里，位于中心稍左，东北有一个光线适中的区域（朝向雅加达湾）。城市的其余部分似乎是一个基本上没有分化的地区，记录的光线水平较低。与VIIRS数据形成的(c)相比，(b)中虽然帕累托调整的数据大致定位CBD的位置，但忽略雅加达的主要特征。首先CBD并没有组建成一个街区，因为它们被梅德卡广场和周围的公园打断。第二，CBD的通明轴更小，更向东北方向通向丹戎普里奥克港。第三，经过帕累托调整的数据缺失的特征是港口的亮度，港口光线非常明亮，但在帕累托调整的DMSP图像中完全忽略它。最后，经帕累托调整的DMSP数据错过雅加达东部灯火辉煌的地区，以及城市西北边缘附近前往苏加诺-哈塔机场的地方。遗漏许多细节，使得DMSP数据为城市内空间异质性的模式提供一个很差的指导。
除此之外，用于替换顶部编码的DN为63的值可能会夸大亮度差异。通过在图2的地图上放置一个590个单元的网格，并计算单元水平的统计数据的方法计算网格水平变异系数（CoV），结果显示帕累托调整后的DMSP数据的CoV比VIIRS数据的CoV高60%，表明这种调整引入在更广泛的范围内比实际的辐射测量更多的可变性。下图3提供来自VIIRS数据的每个单元的辐射与来自帕累托调整DMSP数据的同一单元的DN值的散点图。结果显示，帕累托调整数据和VIIRS辐射测量值之间的对应关系相当差。这表明精确调整的DMSP数据用于代理实际辐射仍会有很多误差。
我们从国家统计局2013年和2014年的《城市统计年鉴》中获得二级GDP数据，并分为两个子集体，即第一部门（农业、林业、渔业）和第二与第三部门，除开青海省海东市和海南省三沙县，我们获得288个县的GDP数据。我们对印度尼西亚的数据进行类似的排除，去掉密度最低的包含6.7%人口的空间单位,DMSP数据的弹性从-0.06上升到0.44，R2变为0.24，而VIIRS的弹性从0.18上升到0.67，R2为0.61。这充分说明卫星探测到的光度普遍不适合作为发展中国家人口稀少的农村地区经济活动的代表。 表3中我们报告2012年和2013年各县GDP的回归预测结果。其中DMSP数据是美国国家海洋和大气管理局的年度复合数据，VIIRS数据是使用掩蔽月度数据形成的这些年份的年度估计。结果显示当使用VIIRS数据时R2为0.76，如果使用DMSP数据时为0.62。汇总到省的水平使用DMSP数据提供的R2为0.86，使用VIIRS数据提供的R2为0.9，这说明使用更聚合的空间单元时，DMSP缺陷就不那么明显。 表3还显示，使用合并区回归的R2比合并县的回归高30%。将GDP按部门分类并重复表3的回归，用VIIRS数据预测初级部门GDP的R2仅为0.09，而预测工业和服务业GDP的R2为0.78。因此，夜灯数据似乎不是农村农业经济活动的有效代表。 关于DMSP对空间不平等程度的预测，我们使用2013年数据，结果得到以GDP计算的Theil指数和Gini系数分别为1.18和0.72，这与以VIIRS计算的Theil指数为1.24和Gini系数为0.72基本一致，然而，如果使用DMSP数据得到的Theil指数和Gini系数分别为0.62和0.59，空间不等性将被低估近一半。
重庆市统计年鉴报告每个县和地区的GDP，因此为评估第三地方国家的夜灯数据提供基准。此外，重庆市拥有2015年的38个县区的GDP数据，为了检验在形成2012年和2013年与DMSP数据有时间重叠的估计时应用于VIIRS月度数据的程序的有效性，我们可以以当年VIIRS清理的年度复合指数作为基准。图4中左侧使用未过滤的VIIRS月度数据的对数来估计来自NOAA的清理的VIIRS年度复合指数的对数，结果显示R2为0.86，其关系远远超过45度线，弹性值为1.52；右侧使用过滤的VIIRS月度数据的对数估计结果R2为0.98，弹性值为1.05。这说明使用过滤的VIIRS月度数据可以很好预测2015年的GDP。使用NOAA的清理的VIIRS年度复合指数或过滤的VIIRS月度数据预测的GDP的R2为0.79，而使用未过滤的月度VIIRS数据来预测GDP，其R2为0.64。
上表4报告2012年和2013年在重庆的县和区GDP的回归预测结果，DMSP数据是来自NOAA的清理的年度复合数据，而VIIRS数据是使用过滤的月度数据形成的年度估计数据。VIIRS数据对综合GDP的预测能力比DMSP数据高出53%，R2为0.81，而DMSP数据的R2为0.53。将综合GDP按部门划分后发现VIIRS数据与初级部门GDP的系数不显著，DMSP与初级部门GDP的系数仅是工业和服务业GDP的系数的四分之一。根据每个空间单位的面积来分割样本，DMSP数据在预测小空间单位的GDP方面比大空间单位差得多；对于小单位，GDP与灯光数据的弹性为0.39，R2为0.18，而较大单位的弹性为1.15，R2为0.82；VIIRS数据也能较好地预测较大空间单位的GDP，但与DMSP数据差异不那么显著，较小区域的GDP与灯光数据的弹性为0.58，R2为0.66，较大区域的弹性为0.92，R2为0.86。除了预测低密度农村地区的GDP存在问题，用DMSP数据预测小地区的GDP也可能存在问题。 最后在预测空间不平等程度时，DMSP数据显示的不平等程度仅是VIIRS数据的三分之二，被低估的空间不平等尤其适用于地区，这意味着这些地区是每个州或市的城市核心，使用GDP或VIIRS夜灯数据，该地区的Theil指数为0.79，但使用DMSP数据仅为0.42。对于南非，我们获得2013年总就业人数和2011年GDP的容量为234的数据，并且统计局基于市政一级数据遵循等级大小规则的假设，使用来自城市金融普查和人口普查的数据来分解省级就业和GDP数据。表5中使用使用DMSP稳定数据和基于2015年年度复合数据作为去除异常值的2013年的VIIRS估计值来预测市政水平GDP，结果显示VIIRS数据的拟合度比DMSP数据高出15%，DMSP弹性的标准误差大约是VIIRS标准误差的三分之一，在预测每个城市的总就业人数方面，差异的程度略小一些。对DMSP和VIIRS数据的GDP回归的预测拟合在高密度地区大约是在低密度地区的两倍。然而与印尼的研究结果相反，我们没有看到GDP和灯光之间有任何负相关关系。最后在预测空间不平等程度时，VIIRS数据在泰尔指数的预测上在所有空间单元上比DMSP数据高43%，在基尼指数的预测上在所有空间单元上比DMSP数据高15%。若使用GDP估计，不平等指数会略高一些（例如，GDP的基尼系数为0.66，VIIRS夜灯为0.61，DMSP夜灯为0.53），因此DMSP数据仍会低估空间不平等程度。研究发现，相较于广泛使用的DMSP数据，VIIRS夜灯数据更能更好地代表当地的经济活动。然而，在低密度农村地区，DMSP数据和VIIRS数据似乎都不能为经济活动提供一个很好的代理。研究结果表明，DMSP数据在较低水平的空间单元、较低密度区域和较小区域的预测性能较差。VIIRS数据在较低水平空间单位的预测性能也略有下降，但下降幅度不如DMSP数据显著。研究城市地区时，使用DMSP数据即使应用了顶级编码的校正方法，城市部门的不平等也会被大大低估。而VIIRS数据则能够为研究城市发展的空间格局提供更好的资源。尽管许多应用经济学研究仍然依赖于DMSP夜灯数据，但我们认为更新和更好的VIIRS数据可以提供更短与经济变量变化相关的时间序列。虽然夜灯和其他遥感数据可以很好地预测经济变量的横截面，但它们并不能很好地预测活动的时间序列变化。因此，在评估哪个数据源更好时，应主要基于它们在横截面使用中的表现。DMSP数据中的一些时间序列变化是噪声，而且随着时间的推移，这些数据变得越来越陈旧。相比之下，VIIRS不仅能随着时间的推移提供一致的数据，而且时间序列只会变得更长。因此，这将是经济学家追随其他学科的好时机，并进一步利用VIIRS夜灯数据。
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。
4年，计量经济圈近1500篇不重类计量文章， 可直接在公众号菜单栏搜索任何计量相关问题,
Econometrics Circle 计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此，建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀是通过感染优秀而互相成就彼此的。
|
