|
重磅干货，第一时间送达 摘要 基于经验和语义认知的对周围环境的想象有很大的潜力来扩展有限的观察，并为映射、避碰和路径规划提供更多的信息。本文提出了一种基于语义认知的移动机器人空间想象训练算法，并对所提出的映射任务方法进行了评价。作者利用一个逼真的模拟环境，Habitat，进行训练和评估。训练模型由作为编码器的reent -18和作为骨干的Unet组成。通过回忆图像和经验，并与传统的语义映射方法进行比较，作者证明了该算法可以普遍地对物体的不可见部分进行想象。结果表明，该方法可以提高语义映射的效率和准确性。  这项工作的主要贡献如下:
 框架结构 概念概述 仿真环境中的机器人有一个传感器，提供RBG-D观测。观察结果经过视觉编码器进行特征提取。语义标签用于生成用于训练的地面真实数据。语义认知和想象将被一个模态不变的中心学习，这是由Unet模拟的。神经网络的输出是对特定类别的2D自顶向下视图的想象。因此，想象力增强了机器人对周围环境的理解，这反过来有利于测绘、路径规划或其他应用。 系统的映射过程设计 想象模块的输入是RBG-D数据，输出是当前观察区域的自上而下视图。地面真相是基于高分辨率地图和语义信息生成的。它不仅扩展了机器人的视场，而且对看不到的遮挡区域进行了着色。映射模块将从模拟器获得的观测数据与精确的坐标登记到全球地图中。 想象模块概述 框架内的每个想象都负责一个类别。 想象单元的详细结构 实验结果
单一预测的总体结果 第一行显示了椅子类别预测的成功案例。第二行显示了对超出范围的表类的另一个成功预测。最后一行显示了椅子类的检测失败。
单元格宽度为2米的整个椅子地图的整体结果 (a)地图由ground truth分割而来。(b)地图来自HRNetV2分割。(c)地图来源于想象中可见的部分。(d)地图来源于整个想象。(e)地图来自于地面真相。
本文提出了一种基于历史经验和语义认知对特定对象进行二维自上而下视图想象的方法。此外，作者展示了一个用例的语义映射与提出的方法，并在此基础上评估性能。作者将想象与语义概念相结合，推动模型学习语义概念的一般设计。然后，利用学习到的经验来检测物体，并对视场受限或遮挡导致的不可见区域进行想象。这项工作的一个重要贡献是界定了想象区域，这是想象和观察之间的桥梁，使训练成为可能。该方法从有限的观测中获得了更多的信息，可以为不同的应用带来好处。在语义映射过程中，与常规的第一人称视图分割算法相比，作者的方法表现出了显著的性能提升。然而，这不是拟议方法的限制。作者正在进行的工作集中在可想象区域的优化，神经网络框架和后处理步骤。此外，作者希望使用更大的数据集，更好的纹理和标签质量，以提高模型的性能。 论文链接：https:///pdf/2104.03638.pdf 每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。 |
|
|
