|
光学成像，包括红外成像，一般有很多重要的应用，民用和军用都有。近年来，技术进步使得多光谱和高光谱成像成为许多军事应用领域的可行技术。CEPAJP8.10计划的目的是评估频谱成像技术在战术军事应用中的潜在优势。这份非机密的执行摘要描述了该计划中的活动，并概述了一些结果。更具体的结果在分类报告和演示中给出。 JP8.10计划始于2002年3月，结束于2005年2月。参加的国家有法国、德国、意大利、荷兰、挪威、瑞典和联合王国，每个国家每年2人参加。 该计划的基本目标是： ·分析从可见光到红外的光电景观中的可用光谱信息； ·分析多光谱和高光谱成像在探测、识别和认定目标，包括低特征目标方面的实用价值； ·确定光谱成像可以提供强大性能增益的应用； ·提出未来光谱成像系统和关键部件的技术建议。 最后，JP8.10计划的一个既定目标是“确保与图像处理社区的适当联系”。演示组织如下。在第一步中，介绍了两个试验(Pirrene和Kvarn)，包括对不同景观材料和光谱图像的光学特性总结。然后，进行现象学研究，分析光学特性的光谱行为，分析传感器信号，并通过处理光谱辐射测量来评估辨别光谱特征的潜力。 Cameo-Sim仿真软件包括首次验证结果和光谱合成图像的生成。参考两类主要的图像处理任务：异常检测和基于特征的目标检测，显示和讨论在测量和合成图像上获得的结果。此外，还介绍了波段选择的初步工作，旨在优化图像传感器的光谱配置。最后，给出了WEAG计划CEPAJP8.10的主要结论。 关键词：高光谱影像，建模，现象学，异常检测，基于特征的检测，特征，波段选择 光学成像，包括红外成像，一般有很多重要的应用，民用和军用都有。近年来，技术进步使得多光谱和高光谱成像成为许多军事应用领域的可行技术。CEPAJP8.10计划的目的是评估频谱成像技术在战术军事应用中的潜在优势。 JP8.10计划始于2002年3月，结束于2005年2月。参加的国家有法国、德国、意大利、荷兰、挪威、瑞典和英国。该计划的基本目标是： ·分析从可见光到红外的光电景观中的可用光谱信息； ·分析多光谱和高光谱成像在探测、识别和认定目标，包括低特征目标方面的实用价值； ·确定光谱成像可以提供强大性能增益的应用； ·提出未来光谱成像系统和关键部件的技术建议。 最后，JP8.10计划的一个既定目标是“确保与图像处理社区的适当联系”。该文档按如下方式组织。在第一步中，两个试验(Pirrene和Kvarn)在第二部分中进行了介绍，包括对不同景观材料和光谱图像光学特性的总结。然后，在第三部分进行现象学研究，分析光学特性的光谱行为，分析传感器信号，并通过处理光谱辐射测量来评估辨别光谱特征的潜力。 第四部分介绍了Cameo-Sim仿真软件，包括首次验证结果和光谱合成图像的生成。处理得到的测量图像和合成图像，结果如第五部分所示。图像处理主要分为两类：异常检测和基于特征的检测。此外，还介绍了波段选择的初步工作，旨在优化图像传感器的光谱配置。第六部分给出了WEAG计划CEPAJP8.10的主要结论。 2.1背景已经进行了两次主要的实地试验。 第一次实地活动于2002年5月至10月，在法国图卢兹附近的皮尔雷内举行。其目标是验证模拟代码：Cameo-Sim(英国)和Comanche(法国)，为光谱处理收集初始地对地光谱数据，并进行现象学研究。在这次试验中，地面上的各种仪器(3个BOMEM分光辐射计、2个便携式分光辐射计、2个便携式高光谱成像传感器、几个多光谱成像传感器)被用来表征一组面板和其他短程简单物体，包括具有代表相关军事目标表面特性的物体。仪器覆盖了从可见光到长波红外的光学波长。在几个月的时间内，在不同的时间尺度(每小时、每天和每月)和各种天气及光照条件下进行测量，以表征自然场景的可变性。 克瓦恩试验于2003年5月26日至6月14日在瑞典林克平克瓦恩的普斯特托姆塔实弹靶场举行。试验目的是找到使用多光谱和超光谱传感器观察军事目标和背景的新方法。如图1所示，该试验在森林/乡村背景下使用了大量军事目标，包括车辆、诱饵和伪装。测试了各种战术场景，例如： ·检测目标，包括不同程度的隐藏和伪装目标； ·目标分类、拒绝诱饵和军民歧视。 在克瓦恩，使用各种成像传感器在整个光学波长范围内记录图像数据，包括多光谱和超光谱相机、偏振相机和地面上的几个传统相机。三架不同的飞机从空中记录了高光谱和高空间分辨率图像。从现场收集了大量的地面真实数据(图1)。特别是，记录了各种材料的光学特性，并汇编成一个非常有用的材料数据库(已收集了600多种光谱)。这些数据与详细的几何地形模型相结合，为整个场景生成高分辨率模拟模型。共有100多人参加了克瓦恩试验。为期两周的活动提供了关于昼夜变化和天气相关变化的信息。天气的变化，加上目标状态的变化，为研究不同条件下目标与背景的对比提供了机会。 
图 1 在克瓦恩战役中，各种机载和地面传感器记录了大量军事目标的数据。最左边的图：军事目标的例子，中间的图：Bomem光谱辐射计(左)和Imspec高光谱图像传感器(右)，最右边的图：使用SOC400T对军事目标的光谱反射率测量
在这两次试验中，使用温度数据记录器、气象站、天气预报和气溶胶测量连续进行了大气特征分析。 2.2数据描述2.2.1光学特性对于CEPA8项目，了解所有材料的光学特性是至关重要的，因为这些现场试验数据是该项目其他工作的基本输入。用最先进的仪器获取整个光学域的光学特性数据。定向半球反射率(DHR)是从紫外线(0.3米)到LWIR(14米，有些甚至高达25米)测量的，双向反射率分布函数(BRDF)数据在宽带中，在MWIR(3-5米)和LWIR(8-12米)以及0.4米和2.5米之间的一些光谱BRDF中获得。为了能够生成一个大的数据库，在一个循环测试中执行了一个相互比较过程，该测试涉及我们所有的设施。因此，确保了每个国家向数据库提供相同质量的数据。表1列出了使用的仪器。 表1 测量光学特性的地面传感器列表 在该计划期间，超过95种材料在实验室和野外进行了测量，包括日变化和季节变化。这95种材料可以分为两类，60种人造材料(油漆、箔、帆布、伪装网……)和35种自然背景材料(植被、土壤…)。这些数据是在1300多次测量中获得的，并全部存储在数据库MEMOIRES中。 2.2.2图像数据在2003年7月的Pirrene试验期间，在不同的天气条件下获得了可见光(ASI高光谱图像传感器)和红外(多光谱照相机)范围内的短距离水平观测图像。 但大多数图像是在克瓦恩实验中用广泛的传感器获得的，从单波段传感器到超光谱传感器。这些传感器提供感兴趣的背景和目标的高空间和光谱分辨率的组合。图像传感器列表如表2所示。因此，该大型图像数据集可用于包括不同状态下军事目标类型(发动机开启/关闭、打开/半隐藏/深度、多种天气条件、一天中不同时间……)的地面和空中观察。 表2 克瓦恩试验期间使用的图像传感器列表 本研究的目的是了解光谱辐射信号的构成及其相对于环境参数的行为，分析材料的光谱光学特性，并评估材料的可分离性。 由于可获得的数据量很大，考虑到整个光学领域的情况，MWIR和LWIR成为研究重点。此外，由于信号构成的复杂性，该领域具有更广泛的国防用途，需要更多的研究。 所使用的数据集来自两个活动(Pirrene和Kvarn)，包括各种环境条件下所有光学波段的光谱反射率和传感器光谱辐射。 使用科曼奇辐射代码，进行了第一次分析，以了解不同现象及其对作为波长函数的总传感器信号的相对贡献。 然后，解释了不同材料在不同状态下，反射光谱的光谱行为。主要结果指出了植被死亡对光谱特征的影响(图2)。 此外，光谱目标/背景对比分析已经用PIRRENE和KVARNBOMEM数据集进行。它对环境参数的依赖性似乎很复杂，主要由温度因素决定。然而，总的趋势已经被发现，并且这些结果表明红外中的光谱对比度主要取决于一天中的时间：当温度低时，并且当相对湿度高时，低对比度出现在清晨或深夜。 在最后一步中，已经评估了使用鉴别分析来鉴别不同材料的潜在能力。在反射域中，辐射光谱的形状显示出明显的差异，可以直接用于辨别，而无需完全的大气校正。另一方面，在MWIR和LWIR域，使用辐射光谱，如果没有温度/发射率分离算法(TES)，则不能获得令人信服的结果。使用它们的反射光谱可以进行这种区分。因此结论是，需要大气补偿和发射率/温度分离来区分红外域中的材料。 这项工作的目的是证明多光谱和高光谱技术的应用可以通过建模得到真实的体现。因此，为实现这一目标而进行的大部分工作，都是为了验证光电成像模拟工具Cameo-Sim。Cameo-Sim是由英国国防部资助，Insys有限公司开发的模块化软件套件，用于制作0.3至20米之间的高保真合成图像。Cameo-Sim是一个基本原理模型，因为它使用物理上有意义的参数，求解自然环境中各种形式的辐射传输方程。将Kvarn试验中收集的真实数据与合成数据进行比较，并进行各种研究，确定了Cameo-Sim的验证方法。包括原始数据的比较，即由机载传感器收集的高光谱图像和辅助数据。例如表面温度和大气通量。迄今为止进行的研究表明，真实数据和合成数据之间的比较相当好，在某些情况下，甚至超出了最初的预期——首次证明合理比较的目标检测算法的性能确实如此。总的来说，进展非常令人鼓舞，建模过程要求得到了更好的理解。在建模场景中捕捉正确的树密度。这已经确定了Cameo-Sim可能需要修改的领域。例如捕捉草的3D效果。因此，希望当这些问题得到解决时，比较会有所改善。 
图 2 桦树的光谱反射率：衰减对4–5米范围内含水量的影响。桦树在3月3日被砍伐，4天内每天测量其反射率 5.1光谱图像处理为了对军事目标使用光谱成像，一些最重要的图像处理类型是异常检测、基于特征的检测(或光谱识别)和波段选择。这些将在下面讨论。也可以应用其他类型的光谱图像处理。例如，光谱成像的许多民用应用旨在估计场景的定量状态参数，例如植被状况，并且这种技术也可能具有军事应用。 在信息提取处理步骤之前，通常对数据进行某种形式的预处理，例如应用传感器校准系数或补偿平台运动和大气的影响。JP8.10计划已经建立了几种处理光谱图像的能力。目标检测工作大多基于已有的算法。然而，可以注意到，算法的性能很大程度上取决于手头任务的实现和适应。通过覆盖从场景到传感器到图像处理的整个信号链，该程序能够将传感过程视为一个整体。这导致了光谱图像中波段选择和信息内容分析方法的新发展。由于收集了大量数据，到目前为止，该小组基本上处理了在可视领域获得的数据。 5.2异常检测异常检测是一种概念上简单的检测图像中目标的方法(图3)。这假设1)感兴趣的目标构成图像的一小部分，小于背景中任何成分的量，以及2)感兴趣的目标表现出与背景的光谱对比。然后，异常检测算法试图识别偏离背景的像素，并将这些像素标记为可能的目标。这具有不需要关于目标先验信息的优点；甚至可以探测到未知目标。另一方面，如果背景本身包含“异常”光谱，即如果违反假设1，将会产生错误警报。 
图 3 高光谱处理示例。最左边的图像是从高光谱图像中提取的可视彩色图像。中间的图像显示了处理全光谱信息的结果，以强调偏离背景的像素。这表明存在两个部分隐藏的目标。在最右边的图像中，检测到的目标像素被高亮显示。这本质上是一个全自动的过程
5.3基于特征的检测如果目标的光谱特征是已知的，基于特征的检测或光谱识别可以应用于图像，以搜索与已知特征一致的像素光谱。目标的特征通常表示为光谱反射率(或发射率)曲线。然而，传感器测量的是辐射光谱。这不仅受到目标反射率的影响，还受到大气散射和吸收以及目标照明条件的影响，对于热光谱成像，还受到目标温度的影响。因此，给定的光谱特征可以在传感器处产生一系列不同的辐射光谱。因此，基于特征的检测不是一项简单的任务。 使用大气传播模型，可以将接收到的辐射光谱转换成图像中每个像素目标反射率的估计值。然后可以将其与感兴趣目标的已知反射特征进行比较。在每个像素和阈值中计算相似性度量，以检测匹配给定特征的目标。 在这种参数不确定的情况下，另一种方法是对辐射光谱的范围或子空间进行建模，这可能是在可能大气条件和目标几何形状的范围内，由目标反射特征产生的。如果接收到的辐射光谱在这个范围内，或者根据某种相似性度量接近它，则它被认为是目标。这种“物理子空间”方法的优点是，该算法能够适应从目标接收的、在辐射模型中的不同程度的不确定性。 当图像包含具有期望特征的已知参考目标时，会发生基于特征的检测的简单情况。在这种情况下，通常可以假设，对于图像中的参考目标和任何未知目标，大气效应以及某种程度上的照明是相同的。然后可以应用算法，简单地将图像中所有像素的辐射光谱与参考目标的辐射进行比较。在许多情况下，与参考目标相似的光谱目标可以很容易地被检测到。 在JP8.10程序中，这三类基于特征的检测已被采用，并取得了普遍良好的结果。已经表明，关于目标特征的知识通常提高了目标检测概率。在许多重要的情况下，还可能区分不同类别的目标。先验特征信息取自使用野外分光计直接在目标处测量的反射光谱。可以注意到，作战军事光谱成像系统很可能需要包括从图像中提取特征信息的功能(“光谱情报”)。 
图 4 ASI传感器图像中基于特征的检测结果。左边是Kvarn用高空间分辨率RGB数码相机记录的图像拼接图的一部分。一组不同大小的相同材料(民用伪装网)用紫色的盒子标记。目标的视觉对比度较低，但使用物理子空间算法，他们很容易在基于独立测量的反射光谱的ASI高光谱数据(右)中被检测到 5.4波段选择如果光谱带的数量有限，这可能是有利的，原因有几个： ·通过聚集连续的高光谱波段，每个最终的多光谱波段信噪比大于每个对应的高光谱波段信噪比 ·生成的数据量以及数据传输速率降低 ·如果频带数量限制在5个以下，则可以降低设备成本 ·可以使用更简单的DRI算法 ·减少了记录超/多片段和产生警报之间的时间延迟 随后必须根据场景功能确定的波段参数，是所需波段的数量、光谱位置和带宽。 已经开发了一种频带选择算法，该算法使用基于马氏距离度量的鉴别分析技术来找到最佳频带位置，该方法考虑了训练集和背景像素的统计变化。 必须回答的问题有： ·一天中的时间、一年中的时间、天气，波段参数有多稳定？ ·波段参数对场景的依赖程度如何？ ·波段参数对目标和背景训练集的依赖程度如何？ 基于辐射光谱分析的初步结果表明，在LWIR分类中没有单一的唯一波段组合。考虑到大气补偿和温度-发射率分离，需要进一步的工作来巩固这些结果。 在不同试验中获得的大量数据使我们能够证明光谱成像为军事应用带来的好处。虽然一个大型的光学属性数据库被生成并证明是有用的，但其他环境的附加数据，如城市、沙漠…、和其他人造材料应该在将来的研究中获得。因此，该组材料参数也应该增加到一组完整的光谱方向特性和附加特性，如热参数和生物物理参数。 现象学研究已经被用来分析和验证，理解光电景观中的光谱信息。主要结果指出了光谱特征如何影响传感器级信号，但也强调了植被蒸腾和表面污染物对光谱特征的作用。可分离性与反射域中的异常检测一致，但此外，在红外域中，需要大气补偿和温度-发射率分离算法。 此外，还开展了端到端仿真工具(Cameo-Sim)的验证工作，然后用于扩展对已测试军事场景的评估。基于现有数据和多项评估标准的首次验证结果，显示出令人鼓舞的结果。然而，验证过程必须使用更广泛的数据集。 为了评估光谱成像在国防应用中的效用，已经测试了几种战术场景。这需要开发光谱图像处理工具，如异常检测和基于特征的鉴别。结果表明，光谱成像为自动异常检测提供了强有力的支持，尤其是在目标形状无法分辨的情况下。当比较来自地面、空中采集和合成图像的结果时，不同光谱处理技术的稳健性也得到了证明。 对于每一个分析的战术场景，光谱成像都表现出非常好的自动异常检测和识别性能。很难比较最新的高空间分辨率宽带图像传感器和光谱图像传感器的性能。原因是该小组无法获得经证明具有自动检测和分类性能的最新空间图像处理能力。超光谱成像每像素产生的信息量大于任何其他成像技术。原则上，任何图像处理任务都应该通过更大数量的信息变得更容易。然而，对于人类图像解释器来说，超过3个波段的光谱图像数据不容易可视化，这仍然是传统空间图像处理的黄金标准。因此，计算机自动处理是高光谱成像过程的一个组成部分；比传统的成像要多得多。必须注意的是，由于可用的光子数量有限，光谱分辨率和空间分辨率之间存在根本性的权衡。具有100个波段的光谱图像中的单个像素，将具有与传统图像中的10x10像素区域相当的信噪比。数据量也大致相同，人们可以设想，在这两种情况下，数据足以识别一种类型的车辆。这同样适用于不同的光谱和空间信息混合的中间情况。这一观察表明，在光谱成像系统中定义光谱和空间分辨率之间的最佳折衷可能并不简单。 总的来说，JP8.10的进步是显著的。光谱成像的巨大军事潜力已经得到证明。可以对可见光和近红外传感器提出建议。这一合作在EUROPAHIPOD项目下继续进行，该项目旨在扩展现有数据的分析，重点是热红外光谱成像。 这项工作由英国、荷兰、法国、德国、意大利、挪威和瑞典国防部在欧洲防务R&T合作的背景下资助。
|
