|
文章：P2O-Calib: Camera-LiDAR Calibration Using Point-Pair Spatial Occlusion Relationship 作者：Su Wang , Shini Zhang, Xuchong Qiu 编辑：点云PCL 欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。 公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。侵权或转载联系微信cloudpoint9527。 摘要 准确而稳健的传感器标定结果被视为自动驾驶和机器人领域后续研究的重要基础。当前涉及3D LiDAR和单目摄像机之间外参标定的工作主要集中在基于目标和无目标的方法上，基于目标的方法通常在离线情况下使用，因为存在一些限制，比如需要设计额外的目标和目标放置的限制。目前的无目标方法在不同环境中存在特征不确定性和特征不匹配的问题。为了缓解这些限制，我们提出了一种基于在3D空间中使用遮挡关系进行的2D-3D边缘点提取的新型无目标标定方法。基于提取的2D-3D点对，我们进一步提出了一种遮挡引导的点匹配方法，提高了标定的准确性并降低了计算成本。为验证我们方法的有效性，我们在来自KITTI数据集的实际图像上定性和定量评估了方法的性能。结果表明该方法优于现有的无目标方法，实现了低误差和高鲁棒性，有助于提升相机-LiDAR标定的实际应用效果。 主要贡献 本文提出了一种新颖的无目标外参标定方法，利用统一的2D-3D遮挡特征在各种场景中实现了稳健的估计。对于在摄像机图像上进行特征提取，我们先前的工作[15]引入了像素对遮挡关系的概念，并允许我们提取带有空间遮挡信息的图像边缘点。在这项工作中，根据遮挡关系定义利用LiDAR点云上的3D遮挡边缘提取，并开发了一种使用提取的2D-3D点对的新型标定方法。此外遮挡关系为更健壮的跨模态特征关联提供了有价值的指导，能够容忍来自相机-LiDAR外参初始猜测的更大误差，与在实际数据集KITTI上评估的先前工作相比，所提出的方法提高了相机-LiDAR外参标定的准确性和泛化能力。这项工作的主要贡献包括：
 图1. 所提方法的示意图：(a) 所提出使用对齐的2D-3D遮挡边缘点对来估计相机C和LiDAR L之间的外部TCL；(b) 在遮挡方向引导下的2D-3D特征匹配。彩色像素是从图像中提取的遮挡边缘特征点，彩色圆圈是从失标定的LiDAR中提取的点云遮挡边缘特征点，绿色和红色分别代表左右遮挡方向。蓝线表示具有相同遮挡方向的特征之间的数据关联（例如，左遮挡边缘）；(c) 使用估计的外参将LiDAR点云投影到图像上。 内容概述 本节详细介绍了提出的Camera-LiDAR外参校准方法，该流程包括三个步骤：首先，为RGB图像训练P2ORNet神经网络以进行逐像素遮挡边缘识别，并从给定的点云中提取3D遮挡边缘。然后提出了一种在2D像素和3D点之间指定透视n点（PnP）问题的遮挡引导匹配策略。最后通过优化点到线的投影重投影误差，最终获得外参校准矩阵。图2概述了提出的框架。  图2. 所提方法的架构，该方法首先从输入的2D-3D数据中提取2D-3D遮挡边缘特征点，然后应用遮挡引导的特征匹配将它们对齐。随后在匹配的2D-3D点对上进行优化，以恢复摄像机和LiDAR之间的外参。左右遮挡边缘点以绿色和红色着色，而上下遮挡边缘点以黄色和蓝色着色，为了清晰起见，图2D-3D特征匹配模块中仅可视化左右遮挡边缘。 2D-3D点对定义 通过考虑表面之间的遮挡关系，定义了遮挡边缘特征点，这些特征点位于遮挡和非遮挡表面之间的边界区域。通过为每个像素对分配方向，形成了不同方向的遮挡边缘特征点，然后正式定义了每个2D-3D点对，由LiDAR捕获的3D特征点和摄像机捕获的2D特征点组成，这个定义是文章后续Camera-LiDAR外参标定方法的基础。  图3. 2D-3D遮挡边缘点对定义的示意图：(a) 图像左侧遮挡边缘区域以绿色标示，对应的2D遮挡边缘点和3D遮挡边缘点，(b) 图像左右遮挡边缘和上下遮挡边缘在存在三个对象1、2、3并发生遮挡的场景中。 图像中的遮挡边缘提取 8邻域连接：
2D遮挡边缘估计：
遮挡边缘特征点集合：
网络训练：
总体这一步骤旨在通过图像处理提取激光雷达和摄像机之间的遮挡关系，为后续的外参校准提供基础。  图4. 无效特征对的示例，绿色/红色菱形：点云边缘点，绿色/红色线条：检测到的图像遮挡边缘，蓝色线条：接受的匹配，(a)中的黄色线条：由于缺失图像边缘导致的无效角度匹配，(b)中的粉色线条：LiDAR 特征与尖锐图像边缘曲线匹配并变为无效。 LiDAR 特征提取 LiDAR提供了确定扫描帧之间距离差异的信息，使得3D 遮挡边缘特征提取比2D图像更直观，水平遮挡边缘特征通过遍历扫描的每个圈，一旦它们与同一圈上的相邻光束断开连接，将该点标记为遮挡特征来提取，垂直遮挡边缘特征以相同的方式提取，通过遍历 LiDAR 的每一列并与其垂直相邻的光束进行比较。随后考虑到位于地平面上的点几乎不可能是遮挡点，因此在原始点云上应用 RANSAC（随机样本一致性）事先提取地平面的系数，在特征提取之后，将接近地平面系数的遮挡边缘特征移除，然后对特征点云应用半径滤波以减少浮动异常值。 外参标定 遮挡引导特征匹配（OGM）：
 图5. 特征提取和匹配的比较：图（a）展示了提出的特征匹配结果，图像遮挡边缘与具有相同遮挡方向的点云遮挡边缘关联。在图（b）中，特征位置与（a）相同，但直接进行匹配而没有遮挡引导。在（b）中的放大窗口中，杆的所有左右点云特征错误地匹配到右侧图像边缘。图（c）显示了噪声Canny边缘的图像，这与点云上3D边缘的性质不一致。 优化：
 实验 仿真数据集上的实验 在vKITTI2数据集中，LiDAR数据不可用，为了解决这个问题，使用深度图像模拟部分LiDAR扫描，每个LiDAR光束由极坐标中的方向角参数化，其范围值从沿方向角追踪的深度图像区域中采样，引入距离噪声和角度扰动以模拟传感器噪声，使用Velodyne HDL64和HDL32的制造设置渲染64线和32线的LiDAR数据，如图6的第2行所示。  图. 6. 仿真数据的示例 为了突显方法的鲁棒性，专注于验证当网络输出不完美时的标定性能。使用原始边缘检测结果作为基准，通过在网络输出上使用随机圆形补丁屏蔽边缘，删除x%的边缘点来模拟网络输出不完美的情况。图6(b)显示了处理后的图像，其中边缘丢失率为25%。在序列1、2、6、20上进行了测试，这些序列包含城市区域和高速公路上的驾驶场景。表I呈现了每个轴的平均绝对误差及其相关的实验参数。  在真实数据集上的实验 在真实的KITTI数据集上验证方法，使用Velodyne HDL-64 LiDAR和相机进行了标定、同步和去畸变校正，进行了消融研究，并提供了相应的分析。表II显示了定量结果。  图8显示了一些标定结果，包括数据集中的成功结果以及失败案例。  图8. KITTI数据集上的实验结果，细边表示2D特征，而圆圈代表使用估计的外部变换投影的3D特征，所有图像都经过裁剪以获得清晰的视图。第1列和第2列是成功标定外参的示例。请注意，边缘检测网络在(c)和(d)中分别遭受过曝光和先前未知车辆的问题。而我们的方法能够处理不理想的输出。第3列显示失败的情况，因为边缘检测结果不足。对于这两个失败的图像，为了可视化，3D点云仅使用地面真值进行投影。 总结 本文提出了一种无目标相机-LiDAR标定方法，基于遮挡关系的概念引入了一种依赖于场景中自然的3D边缘特征的鲁棒的2D-3D数据关联方法。在2D图像中提取3D遮挡信息使我们有机会生成组织良好的图像边缘特征，并以简单的方式将其与LiDAR点云特征对齐，此外该标定方法对于2D或3D特征的部分丢失具有鲁棒的性能。与端到端的标定方法相比，所提出的方法使用神经网络提取图像边缘，但明确构建特征对，并通过非线性优化计算外参。这种混合架构减少了统计偏差和跨数据集域差距的影响，在真实数据上的实验证明，即使给定了去标定的初始值，我们的方法在无目标相机-LiDAR标定方面始终优于现有技术。 资源 自动驾驶及定位相关分享 【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法 自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源） 更多文章可查看：点云学习历史文章大汇总 SLAM及AR相关分享 以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除 扫描二维码 关注我们 让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。 |
|
|
