点击上方“深度学习爱好者”,选择加"星标"或“置顶” 重磅干货,第一时间送达 摘要 本文提出了一种新的图像与点云交叉模态配准方法DeepI2P。给定在同一场景中不同位置捕获的图像(例如来自rgb相机)和一般点云(例如来自3D激光雷达扫描仪),我们的方法估计了相机和激光雷达坐标帧之间的相对刚性变换。由于两种模式之间缺乏外观和几何关联,学习通用特征描述符来建立对应的配准本质上是具有挑战性的。我们通过将配准问题转化为分类和反摄像机投影优化问题来规避这个困难。设计了一种分类神经网络来标注点云中每个点的投影是在摄像机截锥内还是在摄像机截锥外。这些标记点随后被传递到一个新的反摄像机投影求解器来估计相对位姿。在Oxford Robotcar和KITTI数据集上的大量实验结果证明了我们的方法的可行性。 代码链接:https://github.com/lijx10/DeepI2P 本文的主要贡献如下:
框架结构 我们的网络体系结构针对分类问题 实验结果 左边是基于特征的配准图,例如2D3D-MatchNet,右边是我们的无特征DeepI2P。我们将配准问题转化为分类问题,而不是跨模态检测和匹配特征。 从左到右迭代0 / 40 / 80时高斯-牛顿的可视化。绿色点划分为图像内视场。 三维可视化的截锥分类和反相机投影在Oxford (左)和KITTI (右)。 结论 提出了一种图像与点云的交叉模态配准方法。将具有挑战性的配准问题转化为用深度网络解决的分类问题和用最小二乘优化解决的反摄像机投影问题。利用Oxford和KITTI数据集验证了本文提出的分类优化框架的可行性。 论文链接:https:///pdf/2104.03501.pdf 每日坚持论文分享不易,如果喜欢我们的内容,希望可以推荐或者转发给周围的同学。 |
|