本篇综述详细介绍了195篇与遥感无监督域适应相关的论文，已经被Remote sensing 2022收录。- 论文地址：https://www./2072-4292/14/17/4380
随着遥感监测和计算机视觉技术的快速发展，深度学习方法取得了长足的进步，实现了对地观测、气候变化乃至太空探索等应用。然而，在现有的已标注的数据上训练的模型不能直接用于处理新的遥感数据，而且对新数据进行标注也费时费力。无监督域适应（Unsupervised Domain Adaptation，UDA）是上述问题的解决方案之一，它以标记数据为源域、以无标记数据为目标域，其本质目的是获得训练良好的模型并解决数据问题分布差异。主要贡献如下：本文阐明并回顾了遥感领域无监督域适应的方法，主要分为四类：（1）生成训练方法GT，（2）对抗训练方法AT，（3）自训练方法ST，（4）混合训练方法HT。本文还通过对比实验结果的统计数据，探讨了各种训练方法的优点和潜在缺点。 本文总结了UDA研究中常用的大型遥感数据集，并分析了域差异的影响因素，包含了数据采集及成像因素、任务和注释因素等。 本文介绍了遥感数据中使用无监督域自适应的方向和案例研究。此外，还专注于基于遥感数据实际困境的无监督域自适应方法，例如多域、部分和开放集问题，包括任务定义和解决方法。 通过与自然图像的UDA方法的比较，深入分析了遥感图像无监督域适应方法可能存在的危害和未来发展方向。
通过对遥感数据中无监督域自适应的广泛研究，本文选择了30个基本数据集（如上表所示），并根据不同的任务将它们分为5类，即回归、分类、检测、分割和生成任务，但是在文中只关注光学图像（Opt）、多光谱图像（MSI）或高光谱图像（HSI）和合成孔径雷达（SAR）图像。从遥感应用的角度来看，基于深度学习方法的无监督域自适应方法也被广泛应用于场景识别、目标检测、土地覆盖分类、变化检测和3D重建等方面，取得了显著成果并且可以解决全人类面临的共同问题，如气候变化、人类活动的影响等。文中也具体的展示了一些应用方面的技术发展缩影，包括局部气候区(LCZ)分类、车辆检测、变化检测和去雾或去云等应用到的无监督域适应方法。很容易达成共识的是，无监督域自适应需要解决的核心问题是如何缩小源域和目标域之间的域偏移。按照数据生成过程和标注过程，本文主要将造成差异的影响因素（以上图为例）主要分为以下三类：本文主要对现有的无监督域适应方法进行系统的概述，主要包含生成微调方法FT、训练方法GT、对抗训练方法AT、自训练方法ST和混合方法HT。基于每一种方法在文中都梳理了详细的技术方案，感兴趣的伙伴可以移步论文地址详细阅读。更进一步的，本文比较了自然数据集和遥感数据集中使用的 UDA 的相关统计数据，如上图所示，其中以训练模式为x轴，任务为y轴，显示的每组方法按出版年份排序。从图中可以发现大多数应用于遥感领域的方法都受到自然图像方法的启发，并且利用遥感数据的特点和域间差异设计方法扩展，提高模型的可迁移性。然而，以自然场景为代表的类似方法应用于遥感通常会延迟两年左右。对抗训练方法AT是支撑UDA研究的基石，而自训练方法ST是后起之秀，尤其是在分割任务中。混合训练方法是目前UDA的主流发展方向，尤其是在面临较大的域差异时，基于单一训练模式的方法无法获得良好的性能模型。由于遥感图像与自然图像的差异较大，因此遥感场景中的生成训练方法比自然场景更频繁，其中差异是由多种因素引起的，即检测卫星、波段、区域和其他因素。遥感领域的UDA方法相比自然场景更需要关注多域问题，不仅因为检测水平的限制导致获取的数据不同进而不能立即得到标注，而且也因为更多场景需要使用多模态或者多源的遥感数据。此外，在实际遥感应用中，要实现准确的地面观测还存在很多实际问题。例如，在观测过程中可能需要识别未知类别，也可以结合多颗卫星进行综合判断。因此本文还介绍了部分、开放集、多域UDA和域泛化的定义和方法，以解决实际的遥感场景问题。为了讨论面对新的未标记数据如何选择更合适的无监督域自适应方法，本文收集了基于ISPRS Potsdam和Vaihingen数据集的六类分割任务的实验结果，如上表所示。本文还提供了基于不同baseline的实验结果，和只在源域上训练并直接在目标域上测试，或者直接在目标域上训练和测试的结果。由此可以得出结论，目前GT和HT方法与其他方法相比大多表现更好。此外，从Potsdam数据集迁移到Vaihingen数据集，使用的源域数据的通道组成不同：一个是红绿蓝（RGB）波段合并，一个是近红外绿蓝（IRGB）波段合并，同样的方法表现也不同。IRGB自适应的结果略好于RGB自适应，因为近红外和可见波段之间的域间隙大于不同可见波段之间的域间隙。
|
