简介 最近在群里划水时,看到很多初学的SLAMer面对精度评估这个问题无从下手。而精度评估确实是在SLAM算法实际评估中急需一种手段和工具,本文将从2维室内和3维室外两个层面来向各位展示如何通过各种手段来对SLAM算法完成。 2D评估—基于cartographer 室内的评估方案比较多样,作者也选取了几种方法来实现二维层面上的室内定位性能评估 1.1 直尺和角度计 这种是作为最简单粗糙的一种方式,但是由于其低廉的成本以及边界的衡量性能被广泛适用于一些小厂的开发人员当中。该定位精度需要根据操作人员的操作精度来决定,基本误差在厘米和分米这样的级别。 基本操作步骤: 1.从地图中获取真实场景与地图栅格对应的比例权重、 2. 然后手动发送一个与初始方向保持一致的目标点以及方位,让机器人通过amcl自主导航到该目标位置附近, 3.通过直尺测量真实运动距离与rviz的距离差 4.然后控制机器人原地旋转一定时间,并观察机器人通过角度计测的的误差与rviz上反馈误差的参数 5.以上步骤重复三次以上。这样我们就可以大概的测量得到SLAM算法的定位精度大概处于什么范围了。 ![]() 1.2 激光测距仪和角度计 这类方法和上文的方法类似,只是将直尺换成了激光测距仪,可以提高人为测量的误差,这类方法也可以较好地评估机器人在直行情况下两个轮子之间的物理误差是否达标。 ![]() 1.3 动作捕捉仪 动作捕捉仪是作为很多大厂来验证室内定位精度最常用的一种策略方法,其成本也是最高的。 但是其可以对整体的定位实现综合衡量的级别,可以实现类似EVO的结果。根据动捕的资料,动捕的定位精度基本在亚毫米级和度级别。同时动捕可以适用于多机器人场景,在室内场景中完成机器人协同编队的功能。 ![]() 1.4 软件评价方法
我们可以假设满足这些要求的相邻轨迹节点的位姿关系在完全优化的轨迹中是局部正确的,尽管从另一个来源的独立输入来看这并不是ground truth ,但是我们现在可以使用它来评估未经闭环优化而生成的局部SLAM结果的质量。 下图说明了该概念,在左侧,ground truth 被可视化为完全优化轨迹的轨迹节点之间的绿色连接,在右侧,红色显示了未优化轨迹中的对应关系。计算出的实际度量是ground truth(绿色)和探针(红色)之间的差。 ![]() 与繁琐的ground truth设置相比,数据收集过程更加轻松。这种方法的另一个优点是:SLAM系统可以在任何自定义传感器配置中进行评估。 通过以下指令可以获取一系列完全优化的轨迹(.optimized.pbstream文件)ground truth关系 cd <build> # (directory where Cartographer's binaries are located) ./cartographer_autogenerate_ground_truth -pose_graph_filename optimized.pbstream -output_filename relations.pbstream -min_covered_distance 100 -outlier_threshold_meters 0.15 -outlier_threshold_radians 0.02 # 进行评估 ./cartographer_compute_relations_metrics -relations_filename relations.pbstream -pose_graph_filename test.pbstream 最后结果如下 Abs translational error 0.01944 +/- 0.01819 mSqr translational error 0.00071 +/- 0.00189 m^2Abs rotational error 0.11197 +/- 0.12432 degSqr rotational error 0.02799 +/- 0.07604 deg^2 3D评估—基于LOAM 这类方法基本上就是对应的室外场景,这类场景存在有GPS或者RTK的信息。通常会使用EVO评定工具,这可以拿到绝对轨迹误差(ATE)、相对轨迹误差(RPE)、均方根误差(RMSE)。 2.1 绝对轨迹误差(ATE) 绝对轨迹误差(absolute trajectory error) 直接计算相机位姿的真实值与SLAM系统的估计值之间的差。
绝对轨迹误差是估计位姿和真实位姿的直接差值,可以非常直观地反应算法精度和轨迹全局一致性。 2.2 相对轨迹误差(RPE) 相对位姿误差(relative pose error 用于计算相同两个时间戳上的位姿变化量的差, 同样, 在用时间戳对齐之后, 真实位姿和估计位姿均每隔一段相同时间计算位姿的变化量, 然后对该变化量做差, 以获得相对位姿误差, 该标准适合于估计系统的漂移。 相对位姿误差主要描述的是相隔固定时间差$\Delta$两帧位姿差的精度(相比真实位姿),相当于直接测量里程计的误差。 2.3 均方根误差(RMSE) 均方根误差为回归评价指标。衡量观测值与真实值之间的偏差。 2.4 evo 安装 程序安装 pip install evo --upgrade --no-binary evo
# 源码安装 #git clone https://github.com/MichaelGrupp/evo #cd evo #pip install --editable . --upgrade --no-binary evo
# 测试 evo_ape -h ![]() $ cd evo/test/data$ evo_traj kitti KITTI_00_ORB.txt KITTI_00_SPTAM.txt --ref=KITTI_00_gt.txt -p --plot_mode=xz ![]() 详细的步骤可以参考如下链接: https://blog.csdn.net/qq_39779233/article/details/108299612 测量指标:
常用命令:
2.5 数据转换 如果目前没有合适的数据,我们可以把bag包录出来,然后通过如下函数进行转换 odom2tum.msg float32 x float32 y float32 z float32 q_x float32 q_y float32 q_z float32 q_w 详细代码
然后将转换后的话题tum_gps和tum_gps转换为tum格式的txt rostopic echo -b tum_gps_carto.bag -p /tum_carto > tum_carto.txt rostopic echo -b tum_gps_carto.bag -p /tum_gps > tum_gps.txt 参考链接 https://blog.csdn.net/qq_36170626/article/details/105302157 |
|