【泡泡图灵智库】半直接单目视觉和视觉惯性SLAM及其闭环检测

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Semi-direct monocular visual and visual-inertial SLAM with loop closuredetection

作者：Shao-peng Li, Tao Zhang, Xiang Gao, Duo Wang, Yong Xian

来源：Robotics and Autonomous Systems 2018

编译：夏友杰

审核：李鑫

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

        大家好，今天为大家带来的文章是——Semi-direct monocular visual and visual-inertial SLAM with loop closure detection，该文章发表于Robotics and Autonomous Systems 2018。

        作者提出了 一个新的半直接单目视觉同时定位与建图（SLAM）系统。它既能保持直接法的快速性，又能具有基于特征方法的高精度和闭环检测能力。该系统提取和匹配每一个关键帧中的ORB特征，并使用不需要特征提取和匹配的直接法来跟踪每一个非关键帧。关键帧用来全局或局部优化以及闭环，而非关键帧则用来做快速跟踪和定位，因此该系统结合了直接法和特征方法的优势。此外，还提出一个单目视觉惯性SLAM系统，基于视觉SLAM来融合惯性测量数据。该系统能够成功恢复尺度信息。在数据集上的评估表明所提方法成功进行闭环检测，并且利用更少的时间能够达到与基于特征方法的精度。实际实验也说明了所提SLAM系统的可行性和鲁棒性。该方案在速度和精度之间取得了很好的平衡，还为其他SLAM方法的设计与提升提供了有价值的参考。

主要贡献

        1. 提出了一个新的半直接单目视觉SLAM系统 - SVL (semi-direct, visual and loop closure detection)；

        2. 同时还提出了一个半直接单目视觉惯性SLAM系统，即在上述系统基础上融合惯性测量数据 - SVL-VI (visual-inertial)；

        3. 既能保持直接法的快速性，又具有基于特征方法的高精度和闭环检测能力。

        4. 给出了半直接SLAM系统具有竞争力的测试结果。

算法流程

图1 本文方法跟踪线程流程图（经过蓝色模块的图像帧则采用一个基于特征的方法）

        本文的主要目的在于开发一个具有回环检测模块的半直接SLAM系统，其精度可以达到与当前最先进基于特征方法相媲美，并且还可以使得系统可以尽可能的快地运行，这样它才可以被用于不同任务中。

        如图1所示，系统根据场景变化来判断当前帧是否是关键帧，对关键帧提取特征，对非关键帧用一个直接法跟踪这些特征。因此，提取特征和匹配描述子在非关键帧中都是不需要的。系统选择ORB特征，即旋转多尺度FAST角点和对应的256位描述子。该特征能够很快的被提取和匹配，并且具有角度不变性。系统与ORB-SLAM类似，有三个并行线程：跟踪，局部建图和回环检测。

        跟踪线程主要负责定位每一帧图像的相机位姿和决定何时插入关键帧。局部建图则处理新的关键帧并进行局部集束调整（local BA）来创建和管理局部地图。回环检测则根据每一个新的关键帧来寻找回环，如果存在回环则矫正累积漂移。

        下面简要介绍SVL的主要模块，SVL-VI中IMU部分则主要参考Rau l Mur-Artal and Juan D Tardo ́s. Visual-inertial monocular slam with map reuse. IEEE Robotics and Automation Letters, 2(2):796–803, 2017，在此不作过多介绍

        1. 单目初始化

        SVL的单目初始化主要采用基于特征SLAM来提取和匹配每帧的ORB特征，采用ORB-SLAM中的方案来进行初始化。局部地图和参考帧的位姿将在初始化过程中解决，将用于下一帧的跟踪。

        2. 基于先前帧的初始位姿估计

        初始化成功后，跟踪线程则处理每一帧图像来估计当前帧的位姿。如果上一帧被成功跟踪，一个恒速模型将被用来预测当前相机位姿。参考帧中跟踪的3D地图点将基于估计的位姿被投影到当前帧。如果帧内没有ORB特征，那么当前帧和参考帧的相对位姿T_cr则可以通过最小化光度误差来得到，该误差主要建立在同一个3D点对应的图像块间。

        其中，u是参考帧的像素位置，R是图像区域，而光强残差\delta_I如下：

        3. 用直接法跟踪局部地图

        在地图点匹配完成后，位姿T_cw可以被再次优化，通过g2o来解以下投影误差：

        4. 地图管理和关键帧处理

        如果当前帧是关键帧，或者直接法跟踪失败，则提取当前帧的ORB特征，并通过与参考帧中的特征匹配来完成定位。

        5. 局部建图和回环检测

        这两个线程至于关键帧及其ORB特征有关。局部建图线程主要通过最小化投影误差进行局部集束调整来优化局部地图点和关键帧。回环检测线程利用词袋模型来检测回环。最后通过位姿图优化可以纠正累积误差。

主要结果

表1 EuRoC数据集上的轨迹精度

图2 左图显示的是SVL，ORB和DSO与真值的比较，右图显示的是SVL-VI和OKVIS与真值的比较。

图3 MH_01_easy上的各帧处理时间。上图表示SVL与ORB以及DSO的比较。下图表示SVL-VI与OKVIS的比较。

图4 MH_01_easy上SVL-VI和OKVIS的位置和方向偏移

Abstract 

    A novel semi-direct monocular visual simultaneous localization and mapping (SLAM) system is proposed to maintain the fast performance of a direct method and the high precision and loop closure capability of a feature-based method. This system extracts and matches Oriented FAST and Rotated BRIEF features in a keyframe and tracks a non-keyframe via a direct method without the requirement of extracting and matching features. A keyframe is used for global or local optimization and loop closure, whereas a non-keyframe is used for fast tracking and localization, thereby combining the advantages of direct and feature-based methods. A monocular visual-inertial SLAM system that fuses inertial measurement data with visual SLAM is also proposed. This system success- fully recovers the metric scale successfully. The evaluation on datasets shows that the proposed approach accomplishes loop closure detection successfully and requires less time to achieve accuracy comparable with that of feature-based method. The physical experiment demonstrates the feasibility and robustness of the proposed SLAM. The approach achieves good balance between speed and accuracy and provides valuable references for design and improvement of other SLAM methods.