分享

在毫米波雷达里程计中是否需要扫描帧匹配?

 点云PCL 2023-11-20 发布于上海

文章:Do we need scan-matching in radar odometry?

作者:Vladim´ır Kubelka, Emil Fritz and Martin Magnusson

编辑:点云PCL

数据集:https://github.com/kubelvla/mine-and-forest-radar-dataset

欢迎各位加入知识星球,获取PDF论文,欢迎转发朋友圈。文章仅做学术分享,如有侵权联系删文。

公众号致力于点云处理,SLAM,三维视觉,高精地图等领域相关内容的干货分享,欢迎各位加入,有兴趣的可联系dianyunpcl@163.com。侵权或转载联系微信cloudpoint9527。

摘要

4D多普勒雷达和激光雷达里程计传感器的研发越来越流行,这些传感器生成的三维点云包含有关每个点相对于传感器的径向速度的信息。特别是4D雷达在低能见度条件(如灰尘、烟雾)下进行目标感知和导航变得越来越有趣,而在这些条件下激光雷达和摄像头通常会失效。随着高分辨率多普勒雷达的出现,有望通过单帧点云估计里程计,从而避免在特征稀疏的场地环境中易出错的扫描配准过程。

我们比较了几种里程计估计方法,从多普勒/IMU数据的直接积分和卡尔曼滤波传感器融合到三维点云间的扫描帧对扫描帧和扫描帧对地图的配准。使用两个最新的4D雷达和两个IMU的三个数据集进行了实验。令人惊讶的是,我们的结果显示仅使用多普勒和IMU数据得到的里程计结果与3D点云配准相比,要么相似,要么更好。在实验中,平均位置误差可以低至1.8和4.5公里行程中的0.3%。这使得在特征稀疏的矿山环境等低能见度条件下,也能够准确估计6自由度的自身运动。这些结果对于在特征稀疏和低能见度条件下的资源受限机器人平台导航的应用非常有用,例如在采矿、建筑和搜救行动中。

主要贡献

近年来,出现了几种毫米波雷达里程计和同时定位与地图构建(SLAM)的方法。受到在地下采矿环境中开发SLAM系统的问题的启发,我们比较了几种代表性的毫米波雷达里程计估计方法。为此将它们部署到包含两种不同的现代成像雷达的三个数据集中。两个数据集是使用我们的移动传感器装置记录的:一个在地下矿山(图1)中,另一个在用于大型轮式装载机的室外测试场地(图3和图4)中。第三个数据集由Zhang等人发布,代表了一个结构化的城市环境。令人惊讶的是,使用直接融合基于多普勒的雷达自身速度和由惯性测量单元(IMU)提供的方向的最简单方法,我们发现这个实验结果对于设计上述应用的定位和地图构建系统是有用的,并值得在机器人学界进一步研究。此外将我们的数据集公开发布在https://github.com/kubelvla/mine-and-forest-radar-dataset。

图1:Kvarntorp矿山环境的细节,由两种传感器模式(激光雷达和雷达)捕获。毫米波雷达模式受到有限的视场(FOV),较低的分辨率和较少的返回的影响。然而在采矿中预期的低能见度条件下,毫米波雷达更为适用。

内容概述

在众多毫米波雷达里程计方法中,我们选择了一组代表性的方法,这些方法是开源的、适用于我们的传感器,并覆盖了从简单的传感器融合到先进的扫描匹配的全方位内容。

多普勒速度和IMU

在这项工作中测试的最简单的姿态估计方法利用了由IMU提供的方向和由多普勒雷达传感器测量的自我速度。首先根据IMU的方向将自我速度从移动平台的坐标框架转换为基于IMU方向的世界坐标框架。然后假设在连续雷达扫描之间速度保持不变,对其进行数值积分。这样就在世界坐标框架中生成了一个轨迹。我们将这种方法称为IMU+Doppler,由于毫米波雷达没有直接提供自身速度测量,而是提供其检测到的目标速度的径向分量,因此有必要对这些信息进行鲁棒处理,以估计雷达的自身速度。为此,我们采用了Doer和Trommer的方法和代码。他们的3-点RANSAC-LSQ自我运动估计方法将RANSAC应用于底层最小二乘优化问题。这个算法非常高效,在我们的数据集中,每个雷达扫描帧的平均处理时间为10毫秒。

扩展卡尔曼滤波器融合

与直接多普勒+IMU融合相比,使用EKF可以更加原则地处理传感器测量中的噪声,并提供姿态置信度估计,在使用Doer和Trommer的代码,该实现将他们的3-点RANSAC-LSQ自身运动估计与惯性和气压测量结合在一起。传感器测量以EKF的宽松耦合方式进行融合。有几个算法扩展可用。我们选择原始的ekf-rio版本,因为它不需要精确的雷达触发信号,不幸的是我们无法从雷达中获取该信号。在这种情况下,该算法以大约100毫秒的延迟应用传入的自身运动测量,这可能会影响状态估计的质量,特别是在高度动态运动过程中。

此外由于我们的传感器装置缺乏气压计测量,我们省略了气压计测量。因此在这里获得的结果代表了滤波方法可实现的里程计质量的下限。值得注意的是,Michalczyk等人的研究通过使用紧耦合的EKF滤波进行雷达惯性里程计,能够实现低于1%的局部漂移。紧耦合算法如何处理成千上万个目标的雷达扫描帧仍然是一个有趣的问题。

图4:从上方视图看黄色轮式装载机行驶在森林道路上。从其传感器套件中,显示了激光雷达、雷达和前置摄像头。深黑色的点表示活动激光扫描,与有色的前置雷达扫描形成对比。

点到面迭代最近点法与局部地图

被测试的毫米波雷达具有很高的分辨率,这使我们能够尝试最初为激光雷达点云配准而开发的方法。这里选择了norlab-icp-mappe这个开源且高度可配置的工具,它支持多种迭代最近点(ICP)算法变体。我们特别选择了点到面的变体方法,因为它通常在结构化和半结构化环境中表现良好。该建图方案不支持通过闭环识别进行地图优化,而是构建一个整体地图,因此在行为上类似于激光雷达里程计方法。

在实验中,我们配置建图方法以向地图中添加新点,直到达到由最小点之间的最小距离定义的最大密度,该最小距离在我们的实验中为0.1米。点到面ICP还需要基于地图中每个点周围的局部几何形状估计法线向量。在我们的实验中,使用了15个最近的点。值得注意的是,初步测试表明,当该建图方案在雷达数据上进行部署时,需要先前的运动估计。因此在所有实验中将多普勒+IMU的姿态作为先验提供。建图方案中的ICP算法提供完整的6自由度(DOF)姿态估计,或者是受限的4-DOF姿态估计。在4-DOF变体中,点云配准仅优化位置和航向,另外两个DOF则直接采用建图方法从IMU提供的方向中获取,在这项工作中,我们测试了这两个变体,并将它们分别称为ICP和ICP 4DOF。

图5:汽车停车场环境的组合雷达地图(左侧),由黑色点表示,带有实时雷达扫描(红色点)。传感器装置(右下角)是手动沿轨迹推动的。

扫描帧匹配变体方法

在这项工作中测试的雷达里程计变体的最后一组采用了扫描对扫描匹配,这经常用于较大SLAM框架的前端模块中。Zhang等人成功地在现代成像雷达(Oculii Eagle)的SLAM框架中应用了这种方法。由于他们的SLAM框架实现是开源的,在这里将其包含在内以测试我们的雷达数据集的雷达里程计。此外提供了他们数据集能够使用Oculii Eagle雷达测试所有其他方法。他们的雷达里程计前端是高度可配置的,允许用户从几种其他扫描匹配算法中进行选择,我们选择测试它们的自适应概率分布-GICP(APDGICP)变体的GICP。虽然该扫描帧匹配方法可以在没有先前运动估计的情况下工作,但我们修改了代码以包含使用多普勒+IMU测程先验的选项,以使其与与子地图匹配的变体进行公平比较。在提供先验时,我们将该方法称为APDGICP IMU Prior,否则称为APDGICP。我们还选择测试他们的正态分布变换(NDT)扫描匹配算法,因为它经常用于激光雷达里程计解决方案。

实验

环境和传感器设置

受到在恶劣环境条件下进行SLAM研究的启发,记录了两个现场数据集:一个在瑞典厄勒布鲁附近的Kvarntorp研究矿井中,另一个在瑞典埃斯基尔斯图纳的沃尔沃建筑设备轮式装载机和自卸车户外测试场地。Kvarntorp测试矿提供了一个用于地下采矿行业应用的模型环境。使用固定在皮卡车车顶上的传感器装置记录了一次长达4500米的运行,如图2所示。

图2:穿越矿山的皮卡车,车顶安装有多传感器装置(上图),传感器装置的详细信息(下图)

Eskilstuna户外测试场地由沃尔沃CE用于其产品的开发和测试,包括如图3所示的大型轮式装载机。

图3:森林环境的俯视图(左)和装备有传感器装置的沃尔沃CE轮式装载机(右)

里程计性能评估

APE与轨迹图一起提供了有关给定感知和环境组合的里程计变体行为的初始、一般性的想法,但易受到累积的姿态误差的乘性、非线性影响。RPE对这一指标进行了补充,指示误差累积的速率。

图6:使用Sensrad Hugin雷达记录的矿井环境。为了清晰起见,省略了4DOF ICP在这个图中的显示,与红色显示的标准ICP相比,其垂直漂移会受到限制。同样出于其快速发散的原因,未显示扫描帧对扫描帧匹配的里程计。

图6和图7展示了在矿井实验中讨论的雷达里程计法的性能。扫描帧到扫描帧匹配的APDGICP变体以及NDT不适用于Hugin雷达提供的输出类型。

图7:在矿井中讨论的所有里程计变体方法的APE平移分量。

图8:在森林场景中讨论的所有里程计变体的APE平移分量。

图9显示,依赖多普勒速度(IMU+多普勒和EKF)的简单方法在垂直和航向漂移方面存在问题。我们认为这主要是由于在记录数据集时使用的IMU类型。事实上,ICP、APDGICP和NDT的所有变体方法的性能都相似,并在图10中保持在10米内。

图 9: 使用Oculii Eagle雷达记录的Car Park实验。为了更好的清晰度,仅显示了选定的里程计变体。

图 10: Car Park环境中所有讨论的雷达里程计变体的APE值。

使用RPE指标在图11中总结了两个不同雷达的里程计方法的性能。Car Park实验表明,依赖多普勒速度的方法(IMU+多普勒和EKF)在平移上更糟,在旋转误差中,我们看到扫描帧匹配的限制效果,这阻止了较大误差的累积,与IMU+多普勒和EKF相反。

图 11: 两个不同传感器设置的RPE值。每对小图表示用于评估RPE的步长,分别为1m和10m。每个图中直接显示了中位数RPE值。

总结

在这项工作中,我们比较了在地下和室外环境中使用两种不同的现代成像毫米波雷达记录的三个数据集上的几种雷达里程计估计方法。在Oculii Eagle雷达中,扫描帧匹配方法的精度高于滤波方法。另一方面得益于Sensrad Hugin雷达中高度准确的多普勒速度测量,最简单的传感器融合方法IMU+多普勒在矿山和森林实验中仅达到0.3%的位置漂移。这使得该方法适用于在恶劣环境中运行的资源受限机器,例如矿业中的重型机械。在未来的工作中,我们将调查Eagle雷达中多普勒速度不准确的原因,并将雷达里程计扩展为完整的SLAM解决方案。

参考代码

1,https://github.com/christopherdoer/reve 

2,https://github.com/christopherdoer/rio

3,https://github.com/norlab-ulaval/norlab_icp_ mapper 

4,https://github.com/zhuge2333/4DRadarSLAM

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述:用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++:基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架

动态的城市环境中杆状物的提取建图与长期定位

非重复型扫描激光雷达的运动畸变矫正

快速紧耦合的稀疏直接雷达-惯性-视觉里程计

基于相机和低分辨率激光雷达的三维车辆检测

用于三维点云语义分割的标注工具和城市数据集

ROS2入门之基本介绍

固态激光雷达和相机系统的自动标定

激光雷达+GPS+IMU+轮速计的传感器融合定位方案

基于稀疏语义视觉特征的道路场景的建图与定位

自动驾驶中基于激光雷达的车辆道路和人行道实时检测(代码开源)

用于三维点云语义分割的标注工具和城市数据集

更多文章可查看:点云学习历史文章大汇总

SLAM及AR相关分享

TOF相机原理介绍

TOF飞行时间深度相机介绍

结构化PLP-SLAM:单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案

开源又优化的F-LOAM方案:基于优化的SC-F-LOAM

【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

易扩展的SLAM框架-OpenVSLAM

基于鱼眼相机的SLAM方法介绍

以上内容如有错误请留言评论,欢迎指正交流。如有侵权,请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧!期待有想法,乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉,点云,高精地图,自动驾驶,以及机器人等相关的领域。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多