遥感数据缺失值重建方法

徐小洋 锐多宝的地理空间 2022-06-30 23:32 发表于北京

分享一篇文献，关于遥感缺失数据重建的经典综述论文，截至2022年3月被引达200次。

[1] SHEN H, LI X, CHENG Q, etal. Missing information reconstruction of remote sensing data: a technical review[J]. IEEE Geoscience and Remote Sensing Magazine, 2015, 3(3): 61–85. DOI:10.1109/MGRS.2015.2441912.

摘要

由于传感器故障和大气条件恶劣，光学遥感数据通常存在大量信息缺失，降低了使用率，阻碍了后续解释。在过去的几十年里，遥感数据的缺失信息重构已成为一个活跃的研究领域，并开发了大量的算法。然而，据我们所知，迄今为止，还没有一项旨在阐述和总结当前情况的研究。因此，这是我们进行本次综述的动机。本文介绍了遥感数据缺失信息重构的原理和理论。我们将已建立和新兴的算法分为四大类，然后从实验和理论的角度对它们进行了全面的比较。本文还预测了有前景的未来研究方向。

引言

• 遥感传感器是最常用的理解这个地球的观测设备，但是由于传感器缺陷或大气状况（例如云污染）获取的遥感影像存在大量缺失值；
• 传感器问题：
• Aqua MODIS 波段6 20个探测器15个存在缺陷；
• Landsat ETM+ SLC故障；
• Aura卫星OMI 行异常；
• 任意时间约35%的陆地表面存在云覆盖，影响光学遥感成像质量。
• 传感器故障导致的像元缺失和随机误差是常见问题。

• 四种常见数据重构方法：

1. 基于空间的方法（Spatial-based Methods），没有任何其他辅助信息源；
2. 基于光谱的方法（Spectral-based Methods），从其他光谱中提取互补信息；
3. 基于时间的方法（Temporal-based Methods），从在相同位置和不同时间段获取的其他数据中提取互补信息（以下，我们说它们是多时间的）；
4. 混合方法，通过前面三种方法的组合来提取互补信息

问题描述

缺失信息的维度

• 缺少信息的遥感数据可能是二维（2D）（例如，全色图像和一些定量数据）
• 三维（3D）（例如，多/高光谱图像）
• 四维（4D）（ 例如，多时态 3D 数据）

基于空间的方法

基于空间的方法仅依赖于损坏数据本身的空间相关性。

插值方法（Interpolation Methods）

• 在基于空间的重建方法中，插值算法是基础算法。大多数空间插值方法可以表示为采样值的加权平均值。常用插值方法例如：克里金插值，用于修复Landsat ETM+条带。
• 一般来说，插值方法是高效且易于操作的。然而，在大多数插值方法中，空间信息并未得到充分利用。因此，这些方法仅适用于地物相对简单的情况。

传播扩散方法（Propagated Diffusion Methods）

• 传播扩散方法旨在恢复缺失区域，从而将局部信息从缺失区域的外部传播到内部，这类似于物理结构中热传播的物理现象。这种效应可以用偏微分方程（Partial Differential Equations，PDEs）形式化；
• 对于扩散方法，存在许多使用不同 PDE 模型的变体，包括线性、非线性、各向同性和各向异性模型，以有利于特定方向的传播。这些方法倾向于将结构延长到缺失区域的内部。因此，它们适用于恢复坚固的结构或填充小区域。但是，它们不适合重建大区域和纹理，在这些区域中它们会导致模糊。

基于变化的方法（Variation-based Method）

• 重构遥感数据的缺失信息也可以看作是解决了一个不适定的逆问题(ill-posed inverse problem)。使用正则化技术(regularization technique)来使逆问题很好地提出是标准的。图像正则化可以表述为变分问题，其中图像相当于有界变化 (Bounded Variation，BV) 的函数，解决方案是全局能量函数的最小化。
• 将图像恢复作为全局能量函数的最小化，基于变分的方法一般可以达到令人满意的修复效果，特别是对于边缘信息等几何结构的恢复。然而，经过几次迭代后，当缺失区域很大且充满复杂纹理时，基于变化的方法在某种程度上往往会导致模糊。

基于示例的方法（Exemplar-based Method）

基于示例的修复方法，基于数字图像的纹理合成，旨在恢复纹理信息的大缺失区域。通过复制一个已知像素来替换丢失的像素，该像素的邻域与要填充的输入像素的当前可用邻域最相似。这类修复方法以贪婪的方式一次填充一个像素或一个补丁的缺失区域，同时保持与附近像素的一致性。

基于像素和基于补丁的方法都以贪婪的方式执行，并且像素或补丁处理顺序对修复结果的质量有很大影响。因此，它们不能确保全局图像的一致性。最近已经进行了一些研究工作，通过全局优化来推进基于样本的修复，以实现全局图像一致性。在这些方法中，通过对整个图像的马尔可夫随机场 (Markov Random Field，MRF) 能量函数进行全局优化来确保空间相干性。通过使用置信传播或图形切割在MRF中优化补丁或像素位置。一般来说，基于样本的修复方法更适合填充大的纹理区域。这些方法可以获得具有高空间一致性和令人信服的视觉质量的精细重建结果。但是，恢复结果的保真度和准确性通常不能令人满意。

一般来说，基于样本的修复方法更适合填充大的纹理区域。这些方法可以获得具有高空间一致性和令人信服的视觉质量的精细重建结果。但是，恢复结果的保真度和准确性通常不能令人满意。

基于空间的方法比较

a原始影像，b 模拟含有条带的问题影像，c 克里金插值修复的影像，d BSCB扩散方法修复影像，e TV正则法恢复影像；f Criminisi基于示例的方法恢复影像

修复有云影像

基于光谱的方法

由于缺乏足够的先验信息，基于空间的方法通常无法重建大面积的缺失信息。在这种情况下，为了获得满意的效果，从谱域中提取互补信息是有帮助的。在多光谱和高光谱图像中，由于传感器的特性，存在很多冗余的光谱信息。这种冗余信息可用于重建特定波段中的缺失数据。但是，前提是损坏的多光谱数据既有不完整的（缺失信息）又有完整的光谱带，在损坏的带内肯定有一些残留信息；否则，光谱相关性不能轻易利用。这类方法的基本思想是通过对不完整波段和完整波段之间的潜在关系建模，利用其他完整光谱波段（一个或多个）来重建不完整波段。

我们认为，在缺失信息在光谱带中不同的情况下，光谱相关性会产生更好的差异。例如，缺失的位置不同，或者一个波段有缺失信息，而其他波段是完整的。这种丢失信息的问题通常是由传感器引起的，其中一些通道被很好地记录了，而另一些则没有。然而，损坏的带可能与特定的完整带相关。然后可以通过细带和相应的带关系来恢复丢失的数据。

• 几种MODIS修复方法：
• Rakwatin et al.局部最小二乘拟合法local least squares fitting (HMLLSF)
• Shen et al. 内局部拟合法withinclass local fitting (WCLF)，考虑了影像的分类信息
• Li et al. 稳健的M估计多元回归robust M-estimator multiregression (RMEMR)

Aqua MODIS波段6传感器损坏情况

Aqua MODIS波段6数据恢复

基于时间的方法

当天气多云时，被动遥感数据的所有光谱波段都会受到不同程度的污染。另一方面，传感器故障会导致所有光谱带的同一区域的信息丢失。因此，基于光谱的方法不再适用。由于云的移动性和传感器的扫描偏差，同一地理区域和不同时期获取的数据可以提供补充信息。对于基于时间的方法，时间间隔是一把双刃剑。如果时间间隔太短，两个连续数据集中的云将大部分重叠，时间相关可能无效。但是，如果时间间隔过长，土地覆被变化很大，以至于相关性被破坏。时间差异通常分为三类：

• 1）由观察条件引起的差异；
• 
  
1. 地理特征的规律变化（如物候变化）引起的差异；
• 
  
1. 地理对象（如新建筑和人造景观）的突变引起的差异。一般来说，基于时间的方法适用于前两种时间差异。

值得注意的是，大多数学者已经研究了基于时间的方法。主要的基于时间的方法包括时间替换方法、时间滤波器方法和基于时间学习模型的方法。在本部分的最后，我们指出了重构定量遥感数据缺失信息时应考虑的几个特殊因素。

时间替换方法

时间滤波

• 通常需要时间序列数据

混合方法

上述三种方法各有优缺点，都只依赖于一种域（空间域、光谱域或时间域）的相关性。结果，它们在某些情况下很强大，但在某些其他情况下却无能为力。相应地，可以结合他们各自的优势来重构缺失的信息。混合方法试图更好地利用隐藏在空间、光谱和时间域中的相关性。混合方法的现有示例包括联合时空方法和联合时空谱方法。

Ozone data of Aura OMI before and after reconstruction. TCO represents total column ozone and DU means Dobson unit. (a) Before reconstruction. (b). After reconstruction.

走天涯徐小洋地理数据科学

一个爱生活的地理土博，分享GIS、遥感、空间分析、R语言、景观生态等地理数据科学实操教程、经典文献、数据资源

716篇原创内容

公众号

锐多宝的地理空间

梦想是写一千篇技术博客

107篇原创内容

公众号

不喜欢

确定

• 不看此公众号