【最新成果】结合强化学习自适应候选框挑选的SAR目标检测方法 （视频）

电脑端视频播放地址（雷达学报b站学习平台）：

论文短视频 | 结合强化学习自适应候选框挑选的SAR目标检测方法

背景介绍

合成孔径雷达(Synthetic Aperture Radar, SAR)在军事领域和民用领域得到广泛应用。近年来，随着SAR系统和成像算法逐渐成熟，如何对SAR图像进行准确高效的目标检测是现在研究热点之一。近年来，在光学领域，基于深度学习的目标检测方法开始占据主流，取得了不错的效果。鉴于深度学习在光学图像目标检测领域的成功，研究者们也将深度学习运用在SAR目标检测当中。

目前一些基于深度学习的SAR目标检测方法是由基于区域的卷积神经网络(Region-CNN, R-CNN)结合候选区域来设计的两阶段检测方法。此类方法在对区域候选网络(Region Proposal Network, RPN)产生的大量候选框进行挑选时，往往采用非极大值抑制(Non-Maximum Suppression, NMS)方法，Faster R-CNN是最常用的两阶段检测方法之一。然而，在大场景SAR图像检测中，由于受复杂背景杂波影响，导致基于Faster R-CNN的目标检测方法在整张特征图上产生的候选框会包含大量杂波，而NMS方法无法在筛选候选框时有效去除杂波，从而产生较多虚警。 

图 1 Faster R-CNN结构

近年来，在人工智能领域中，强化学习得到了广泛关注。强化学习根据当前自身状态（State）并结合策略（Policy）做出相应的动作（Action），通过与外界的交互获得不同的奖励（Reward）来不断更新自身的状态并调整策略，最终形成解决某一问题的最优策略。将具有解译能力的深度学习与具有决策能力的强化学习结合而形成的深度强化学习，可以更好地与其他算法相结合，应用在目标检测中以提高检测性能。受强化学习启发，研究者们基于Faster R-CNN检测模型，设计了新的强化学习模型实现自适应候选框挑选，有效减少冗余候选框数量，提升检测性能。

图 2 强化学习原理

团队工作

近年来，西安电子科技大学雷达信号处理国家重点实验室的杜兰教授团队对SAR图像目标检测与识别相关方法开展了深入研究。

图 3 西安电子科技大学杜兰教授团队

在SAR目标检测方面，针对大场景SAR图像中目标数量较多，分布情况较为复杂且易受杂波影响的特点，提出一种结合强化学习的SAR目标检测方法，提出方法通过使用强化学习自适应确定搜索区域实现了对初始候选框的自适应挑选，提升了对背景杂波的鉴别能力并减少传统强化学习应用于检测问题的计算量。所提方法自适应确定搜索区域的能力包括两方面的自适应，一是通过综合利用图像的特征信息和上下文信息自适应确定搜索区域的位置坐标；二是通过搜索区域尺寸约束自适应调整下一次搜索区域的范围尺寸。所提方法能够有效减少SAR目标检测的虚警数量，提升传统深度学习目标检测方法的检测性能。

该工作拟发表在《雷达学报》2022年第5期“《雷达学报》创刊10周年纪念专刊1”论文“结合强化学习自适应候选框挑选的SAR目标检测方法”（杜兰，王梓霖，郭昱辰，杜宇昂，严俊坤）。

论文介绍

文章提出的SAR目标检测方法整体流程如下所示：

图 4 结合强化学习的SAR目标检测方法整体框架

从总体结构上来说，提出方法基于传统Faster R-CNN方法，在RPN与RoI池化层之间加入深度强化学习网络搜索可能含有目标的区域。特征提取网络提取SAR图像特征，并通过RPN在特征图上生成初始候选框。对于大量的初始候选框，本文使用深度强化学习网络进行区域搜索实现对初始候选框进行挑选，将可能含有目标的候选框送入RoI池化层进行整合。整合后的候选框将被送入检测器，获取最终的检测目标框。

其中上文所述深度强化学习网络采用循环神经网络实现，此网络可以在特征图上找到一个可能含有目标的区域，并将该区域内的候选框送入后续检测器获得该区域内的检测结果，然后综合检测结果再找到另一个可能含有目标的区域，继续将该区域内的候选框送入后续检测，如此迭代，最终完成候选框的自适应挑选和检测。深度强化学习网络在迭代过程中捕捉到图像的上下文信息并确定可能含有目标的搜索区域的位置坐标。并且，本方法在强化学习中对产生的搜索区域尺寸添加约束，使得搜索区域尺寸可以根据之前迭代过程中的搜索区域以及目标检测结果进行自适应调整。从表1可以看出本文方法与传统检测方法相比的性能优势。图5展示了本文方法在大场景SAR图像上的检测结果。

图 5 本文方法的检测结果

图6展示了测试图像的强化学习可视化搜索过程。图6（a）为原始图像，图6（b）到图6（e）展示了本文方法在此图像上的两次迭代搜索过程。其中，白色边框为产生的搜索区域，左上角数字为区域的生成顺序；绿色边框则表示已检测到目标的边界框。通过两次迭代后，强化学习策略判断SAR图像内全部目标已经检测完成，停止迭代，完成后续检测流程。由图6可视化搜索过程可知，强化学习通过训练得到的策略，能够让搜索区域更靠近待检测目标。在迭代搜索过程中，除了利用图像的特征信息进行决策外，深度强化学习网络还能够记录之前迭代步骤中产生的上下文信息，通过上下文信息进行不同搜索区域之间的信息交换，帮助决策，能够有效减少杂波对检测器的干扰，提高检测的准确性。

图 6 可视化搜索过程(白色框为固定动作所产生的搜索区域)

为了进一步分析搜索区域对检测的影响，我们分别对不使用搜索区域的Faster R-CNN方法和可以自适应确定搜索区域的本文方法产生的RoI分布进行了对比。如图7所示，图7中间列为两种方法产生的RoI分布，图中高亮区域为RoI的中心位置。对比高亮区域可以发现，相较于传统的Faster R-CNN方法，经过本文方法的处理，RoI会更集中的产生在目标附近，因图片边缘和复杂背景杂波而产生的RoI大量减少。

图 7 提出方法与传统方法获取的（RoI）分布对比

结合表1的检测结果及RoI分布可以分析，Faster R-CNN方法由于采用NMS法对RPN在整张特征图上产生的大量初始候选框进行处理，会导致SAR图像的边缘和难鉴别的背景杂波位置生成大量RoI，从而造成检测结果中出现较多虚警。而所提方法则依靠强化学习策略及深度强化学习网络积累的上下文信息来确定含有目标的搜索区域，并且只在搜索区域内生成RoI，能够让RoI尽可能集中在目标周围，有效减少图片边缘及复杂背景杂波导致的虚警，从而获得较好的检测效果。

作者简介

杜   兰，西安电子科技大学电子工程学院教授，主要研究方向为雷达目标识别、雷达信号处理、机器学习。

王梓霖，西安电子科技大学在读硕士研究生，研究方向为SAR图像目标检测、机器学习。 

郭昱辰，西安电子科技大学前沿交叉研究院讲师，主要研究方向为智能雷达目标检测和识别。

杜宇昂，西安电子科技大学在读博士研究生，主要研究方向为SAR图像解译、机器学习与人工智能。