|
标题：3D Point Cloud Processing and Learning for Autonomous Driving 作者：Siheng Chen, Baoan Liu, Chen Feng, Carlos Vallespi-Gonzalez, Carl Wellington 编译：点云PCL 来源：arXiv 2020 写在前面 这篇文章在可以说是很完整的介绍了点云在自动驾驶中各个模块的角色，从宏观的分模块的介绍了点云在自动驾驶中的作用与应用，看完整篇文章，将不仅对自动驾驶技术有了更为全面的理解，并理解点云在自动驾驶中的重要性，这里介绍的高精地图的创建以及定位感知等模块介绍是自动驾驶领域的核心技术，比如在介绍的定位模块的两种定位方式的时候就介绍了不同场景下的使用语义的几何信息以及点云强度信息进行定位的方法时，完全对得上apollo自动驾驶方案，让读者收获颇多。这里博主决定将其完整的翻译过来分享给更多感兴趣的朋友。 在翻译与理解的过程中可能存在笔误或者理解不到位，欢迎大家留言交流。由于文章篇幅较长，文章将被分成多篇文章更新发布。其完整英文版pdf可在免费知识星球中获取。 目录 1、介绍 1-A 自动驾驶的意义、历史与现状 1-B 一个完整的自动驾驶系统模块 1-C 三维点云处理与学习 1-D 大纲 2、三维点云处理与学习的关键要素 2-A 点云特性 2-B 矩阵表示法 2-C 代表性的工具 3、高精地图的创建以及三维点云的处理 3-A 高精地图创建模块概述 3-B 三维点云的拼接 3-C 点云语义特征的提取 3-D 地图创建面对的挑战 4、基于点云定位的处理 4-A 定位模块的概述 4-B 基于地图的定位 4-C 点云定位存在的挑战 5、点云感知 5-A 感知模块概述 5-B 3D点云物体的检测 5-C 点云感知存在的挑战 6、总结与扩展问题 6-A 学术界与工业领域的关系 6-B 定性结果 1，介绍 1-A 自动驾驶的意义、历史与现状 自动驾驶作为当今世界最令人兴奋的工程项目之一，是许多研究人员和工程师的一个愿望。这是一个可能从根本上重新定义人类社会未来和每个人日常生活的目标。一旦自动驾驶变得成熟，我们将见证公共交通、基础设施和城市面貌的巨大转变。全世界都期待着利用自动驾驶来减少由驾驶员失误引起的交通事故，节省驾驶员的时间和解放劳动力，节省停车位，特别是缓解城市地区交通压力[1]。 为了不断的接近自动驾驶的目标，已经花了几十年的努力。从20世纪80年代到2004年的DARPA挑战赛和2007年的DARPA城市挑战赛，自主驾驶的研究主要在美国和欧洲进行，在各种场景下的自动驾驶能力方面取得了进步[2]。 在2009年，谷歌开始了一个关于自动驾驶汽车的研究项目，后来创建了Waymo，在其早期技术成功的基础上将这一成果商业化。2013-2014年，深度神经网络的兴起带来了实用计算机视觉和机器学习的革命。这些技术的出现让人们开始相信，自动驾驶的诸多技术瓶颈可以从根本上得到解决。2015年，Uber创建了Uber高级技术集团，旨在使自动驾驶能够完成可扩展的共享服务。这一目标已成为业界普遍采用的部署策略。目前，从事自动驾驶技术的高科技公司、汽车制造商和初创公司众多，包括苹果、 Aptiv、 ArgoAI、 Aurora、百度、 GM Cruise、滴滴、Lyft、， Pony.ai，特斯拉， Zoox，主要的汽车公司，以及其他许多公司[3]。这些公司都有这雄心勃勃的目标，在不久的将来达到SAE 4级自动驾驶。尽管工业界和学术界的许多团体都取得了重大进展，但仍有许多工作要做。实现自动驾驶需要业界和学术界的共同努力。最近，关于自动驾驶的进展和未来有很多讨论和假设；然而，那些从前线推动工业级自动驾驶技术的人很少有想法公开。在本文中，我们从实践者和研究者两方面提供了一个统一的视角。 1-B 一个完整的自动驾驶系统模块 自动驾驶系统主要包括传感器、地图创建、定位、感知、预测、路径规划、运动规划和控制模块[5]；见图1。  图1 经典自动驾驶系统的模块框图。 高精地图离线生成。在运行时，在线系统被指定一个目的地。然后系统感知环境，将自身定位到地图上，感知周围的世界，并对这些物体的运动做出相应的预测。运动规划器使用这些预测信息来规划自动驾驶车辆（AV）的安全形式轨迹，以随着车辆控制器执行的安全有效的路线。请注意，在此自动驾驶系统中使用了两种类型的三维点云：由地图创建模块创建并由定位模块使用的点云地图，以及由传感模块收集并由定位和感知模块使用的实时激光雷达点云。 传感模块。为了确保系统的可靠性，自动驾驶通常需要多种类型的传感器。相机、无线电探测和测距（雷达）、光探测和测距（激光雷达）以及超声波传感器是这些传感器中最常用的，激光雷达是可以直接提供场景的精确三维点云的表示。尽管随着基于深度学习的计算机视觉算法的发展，基于二维图像的三维重建和深度估计技术已经得到了显著的改进，但是所得到的估计仍然不总是精确或可靠的。除了算法上的限制外，基本的瓶颈还包括深度估计中固有的指数距离误差增长、弱光下的性能差以及处理高分辨率图像的高计算成本。另一方面，激光雷达通过直接的物理传感器测量场景三维信息。实时激光雷达扫描由大量三维点组成，称为三维点云。每个三维点记录从激光雷达到物体外表面的距离，可以转换成精确的三维坐标。这些3D点云对于自动驾驶车辆在3D世界中自定位和检测周围物体非常有价值。绝大多数公司和研究人员严重依赖激光雷达来达到更为可靠的自动驾驶车辆[6]。这就是为什么我们认为，先进的三维点云处理和学习技术是自动驾驶领域必不可少的。 地图创建模块。地图创建的任务是创建一个高精度的（HD）的点云地图，这是一个精确的异构地图表示的静态三维环境和交通规则。高精地图通常包含两个地图层：一个点云地图，表示周围环境的三维几何信息；一个与交通规则相关的语义特征地图，包含道路边界、车道、交通标志、红绿灯等。这两个地图层在三维空间中对齐，并能够提供详细的导航信息。作为一个地图层，点云地图是一个密集的三维点云，主要用于提供定位先验知识。与为人类出行设计的普通地图不同，高精地图是为自动驾驶车辆而设计的。地图创建模块是至关重要的，因高精地图提供了有价值的先前环境信息；详情见第3节。 定位模块。定位的任务是找到自动驾驶车辆相对于高精地图中参考位置的自我位置。此模块至关重要，因为自动驾驶车辆必须自行定位，以便在高精地图中使用正确的车道和其他重要的优先级选择。其中一项核心技术是3D点云配准；即通过将实时激光雷达扫描与离线高高精地图相匹配来估计自主车辆的精确位置；详情见第4节。 感知。感知是感知周围环境并提取与导航相关信息的任务。由于感知模块是自动驾驶车辆的视觉系统，需要对三维场景中的物体进行检测、跟踪和分类，因此该模块至关重要。它曾经被认为是自动驾驶的技术瓶颈。近年来，随着大规模训练数据和先进机器学习算法的发展，感知模块的整体性能得到了极大的提高。一些核心技术包括二维目标检测和三维目标检测。二维目标检测已经相对成熟，而三维目标检测是基于实时激光雷达扫描的，成为一个越来越热门的研究课题，详见第五节。 预测。预测的任务是预测三维场景中每个物体未来的潜在轨迹。这个模块非常重要，因为自动驾驶车辆需要知道附近物体未来可能的行为，以规划安全的运行轨迹。 路径规划。路径选择是为自动驾驶车辆设计从起始位置到目的地的高级路径的任务。该模块的输出为运动规划模块提供了一个高层次的指导。 运动规划。运动规划的任务是根据当前车辆的状态、周围环境和目的地来设计自动驾驶车辆的运动轨迹。这个模块非常重要，因为自动驾驶车辆需要知道如何对周围环境做出反应。 控制模块。控制是执行来自运动规划模块的命令的任务。它负责控制方向盘、油门和制动器的执行器。 1-C 三维点云处理与学习 如前所述，激光雷达为自动驾驶提供了不可或缺的3D信息。我们现在继续介绍将原始测量值转换为有用信息的处理和学习技术。 点云自动驾驶的作用。自动驾驶车辆中通常使用两种类型的三维点云：实时激光雷达扫描点云和点云地图，这是高精地图中的一层。点云地图提供了先验的环境信息：定位模块使用点云地图作为三维点云配准的参考值来确定自主车辆的位置，感知模块使用点云地图来帮助分割前景和背景点云。另一方面，定位模块利用实时激光雷达对点云地图进行配准，感知模块利用实时激光雷达点云对三维场景中的周围物体进行检测。因此，三维点云的处理和学习对于在一个自动驾驶系统中构建地图生成、定位和感知模块是至关重要。 学术界的最新进展。传感器获取数据和数据馈送算法。在雷达、声传感器和通信系统的发展过程中，一维信号处理在过去的一个世纪里经历了快速的发展，对数字通信系统产生了革命性的影响。随着相机和电视的普及，二维图像处理在过去的30年中经历了快速的发展，导致了摄影、娱乐和监控领域的重大变化。随着工业机器人技术、自主驾驶技术和增强现实技术的发展，三维传感技术得到了迅速的发展。同时，三维点云的处理和学习算法也开始受到学术界的广泛关注。下面的讨论分为两部分：3D点云处理（从信号处理的角度处理3D点云）和3D点云学习（从机器学习的角度处理3D点云）。 三维点云处理。三维点云处理是通过各种数学和计算算法对三维点云进行分析和修改，以优化其传输、存储和质量的过程。尽管处理算法可能有很大的不同，但许多处理方法是从一维信号处理和二维图像处理扩展而来的。例如，3D点云压缩与图像压缩相对应，其目的在于降低3D点云的存储或传输成本；3D点云去噪与图像去噪对应，其目的在于从3D点云去除噪声；三维点云配准是图像配准的三维对应，其目的是对齐同一场景的两个或多个三维点云；三维点云降采样和增采样是图像缩放的对应，其目的是改变三维点云中的分辨率（点云的个数）。 三维点云深度学习。三维点云深度学习是解释和理解三维点云的过程。借助深度神经网络的强大工具，计算机视觉研究人员的目标是将从图像和视频的深度学习扩展到三维点云。两个主要的学习问题是三维点云的识别和分割。与二维图像的情况类似，三维点云识别的目的是将给定的三维点云划分为一个预定义的类别，而三维点云分割的目的是将给定的三维点云划分为多个部分。由于三维点云的格式不规则，设计学习算法的最大挑战之一是建立高效的数据结构来表示三维点云。有些算法将三维点云转换为规则的三维体素，因此可以使用三维卷积进行分析；然而，它们必须在分辨率和内存之间进行权衡。为了直接处理原始点云，PointNet[7]使用逐点多层感知器（MLP）和最大池来确保排列不变性。之后，一系列的三维深度学习方法以PointNet为基础网络。 学术界和工业界的关系。从一维时间序列到二维图像的技术转换非常自然，因为这两种类型的数据都支持规则间距结构；但是，从二维图像到三维点云的技术转换并不简单，因为这些点不规则地分散在三维空间中。从业人员也提出了许多流行的方法来处理三维点云数据，并带来了更多的启发。因此，研究者和实践者在三维点云处理和学习方面有很大的合作空间，可以解决一些基础性的任务，从而加快自动驾驶驾驶的进程。 1-D 大纲 第二节介绍了三维点云处理和学习的关键要素。首先解释了三维点云的常规的特性，然后介绍表示三维点云的各种方法。然后介绍了处理和学习三维点云的常见的方法。 第三节、第四节和第五节分别介绍了在自动驾驶系统的地图创建、定位和感知模块中有关三维点云处理和学习的最新方法和挑战。特别考虑这三个模块，因为它们严重依赖于三维点云来实现可靠的性能。在每个模块中，将讨论本模块的具体工作内容；为什么三维点云处理和学习对本模块非常重要；以及三维点云处理和学习如何在本模块中发挥作用。 第六节以讨论结束，并指出未来的方向。比较了学术界和工业界的观点，其次说明了最新的定性结果。 参考文献 向上滑动阅览 [1] A. Taeihagh and H. Si Min Lim, “Governing autonomous vehicles: emerging responses for safety, liability, privacy, cybersecurity, and industry risks,” Transport Reviews, vol. 39, no. 1, pp. 103–128, Jan. 2019. [2] National Research Council, “Technology development for army unmanned ground vehicles,” 2002. [3] C. Badue, R. Guidolini, R. Vivacqua Carneiro, P. Azevedo, V. Brito Cardoso, A. Forechi, L. Ferreira Reis Jesus, R. Ferreira Berriel, T. Meireles Paixo, F. Mutz, T. Oliveira-Santos, and A. Ferreira De Souza, “Self-driving cars: A survey,” arXiv:1901.04407 [cs.RO], Jan. 2019. [4] M. Bansal, A. Krizhevsky, and A. S. Ogale, “ChauffeurNet: Learning to drive by imitating the best and synthesizing the worst,” CoRR, vol. abs/1812.03079, 2018. [5] C. Urmson, J. Anhalt, D. Bagnell, C. R. Baker, R. Bittner, M. N. Clark, J. M. Dolan, D. Duggins, T. Galatali, C. Geyer, M. Gittleman, S. Harbaugh, M. Hebert, T. M. Howard, S. Kolski, A. Kelly, M. Likhachev, M. McNaughton, N. Miller, K. M. Peterson, B. Pilnick, R. Rajkumar, P. E. Rybski, B. Salesky, Y-W. Seo, S. Singh, J. M. Snider, A. Stentz, W. Whittaker, Z. Wolkowicki, J. Ziglar, H. Bae, T. Brown, D. Demitrish, B. Litkouhi, J. Nickolaou, V. Sadekar, W. Zhang, J. Struble, M. Taylor, M. Darms, and D. Ferguson, “Autonomous driving in urban environments: Boss and the urban challenge,” in The DARPA Urban Challenge: Autonomous Vehicles in City Traffic, George Air Force Base, Victorville, California, USA, 2009, pp. 1–59. [6] G. P. Meyer, A. Laddha, E. Kee, C. Vallespi-Gonzalez, and C. K. Wellington, “Lasernet: An efficient probabilistic 3d object detector for autonomous driving,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2019. [7] C. Ruizhongtai Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2017, pp. 77–85. [8] X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2017, pp. 6526–6534. [9] M. A. Fischler and R. C. Bolles, “Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography,” Communications of the ACM, vol. 24, no. 6, pp. 381–395, 1981. [10] X-F. Hana, J. S. Jin, J. Xie, M-J. Wang, and W. Jiang, “A comprehensive review of 3d point cloud descriptors,” arXiv preprint arXiv:1802.02297, 2018. [11] J. Peng and C.-C. Jay Kuo, “Geometry-guided progressive lossless 3D mesh coding with octree (OT) decomposition,” ACM Trans. Graph. Proceedings of ACM SIGGRAPH, vol. 24, no. 3, pp. 609–616, Jul. 2005. [12] A. Ortega, P. Frossard, J. Kovacevic, J. M. F. Moura, and P. Vandergheynst, “Graph signal processing: Overview, challenges, and applications,” Proceedings of the IEEE, vol. 106, no. 5, pp. 808–828, 2018. [13] S. Chen, D. Tian, C. Feng, A. Vetro, and J. Kovacevi ˇ c, “Fast resampling ´ of three-dimensional point clouds via graphs,” IEEE Trans. Signal Processing, vol. 66, no. 3, pp. 666–681, 2018. [14] Y. Wang, Y. Sun, Z. Liu, S. E. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic graph CNN for learning on point clouds,” ACM Transactions on Graphics (TOG), vol. 38, no. 5, November 2019. [15] S. Chen, S. Niu, T. Lan, and B. Liu, “Large-scale 3d point cloud representations via graph inception networks with applications to autonomous driving,” in Proc. IEEE Int. Conf. Image Process., Taipei, Taiwan, Sept. 2019. [16] G. Li, M. Muller, A. K. Thabet, and B. Ghanem, “DeepGCNs: Can ¨ GCNs go as deep as CNNs?,” in ICCV, Seoul, South Korea, Oct. 2019. [17] G. Grisetti, R. Kummerle, C. Stachniss, and W. Burgard, “A tutorial ¨ on graph-based SLAM,” IEEE Intell. Transport. Syst. Mag., vol. 2, no. 4, pp. 31–43, 2010. [18] D. Droeschel and S. Behnke, “Efficient continuous-time SLAM for 3d lidar-based online mapping,” in 2018 IEEE International Conference on Robotics and Automation, ICRA, 2018, Brisbane, Australia, May 21-25, 2018, 2018, pp. 1–9. [19] P. J. Besl and N. D. McKay, “A method for registration of 3D shapes,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 14, no. 2, pp. 239–256, 1992. [20] A. Y. Hata and D. F. Wolf, “Road marking detection using LIDAR reflective intensity data and its application to vehicle localization,” in 17th International IEEE Conference on Intelligent Transportation Systems, ITSC 2014, Qingdao, China, October 8-11, 2014, 2014, pp. 584–589. [21] S. Shi, X. Wang, and H. Li, “PointRCNN: 3d object proposal generation and detection from point cloud,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., Long Beach, CA, June 2019. [22] B. Li, “3d fully convolutional network for vehicle detection in point cloud,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2017, Vancouver, BC, Canada, September 24-28, 2017, 2017, pp. 1513–1518. [23] B. Yang, W. Luo, and R. Urtasun, “PIXOR: real-time 3d object detection from point clouds,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2018, pp. 7652–7660. [24] J. Zhou, X. Lu, X. Tan, Z. Shao, S. Ding, and L. Ma, “Fvnet: 3d front-view proposal generation for real-time object detection from point clouds,” CoRR, vol. abs/1903.10750, 2019. [25] B. Li, T. Zhang, and T. Xia, “Vehicle detection from 3d lidar using fully convolutional network,” in Robotics: Science and Systems XII, University of Michigan, Ann Arbor, Michigan, USA, June 18 - June 22, 2016, 2016. [26] Y. Zhou and O. Tuzel, “Voxelnet: End-to-end learning for point cloud based 3d object detection,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., Salt Lake City, UT, USA, June 2018, pp. 4490–4499. [27] S. Shi, Z. Wang, X. Wang, and H. Li, “Part-a2 net: 3d part-aware and aggregation neural network for object detection from point cloud,” CoRR, vol. abs/1907.03670, 2019. [28] Y. Yan, Y. Mao, and B. Li, “Second: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, 2019. [29] A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Pointpillars: Fast encoders for object detection from point clouds,” CoRR, vol. abs/1812.05784, 2018. [30] T-Y. Lin, P. Dollar, R. B. Girshick, K. He, B. Hariharan, and S. J. ´ Belongie, “Feature pyramid networks for object detection,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2017, pp. 936–944. [31] F. Yu, D. Wang, E. Shelhamer, and T. Darrell, “Deep layer aggregation,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2018, pp. 2403–2412. [32] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. E. Reed, C-Y. Fu, and A. C. Berg, “SSD: single shot multibox detector,” in Computer Vision - ECCV 2016 - 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part I, 2016, pp. 21–37. [33] T-Y. Lin, P. Goyal, R. B. Girshick, K. He, and P. Dollar, “Focal ´ loss for dense object detection,” in IEEE International Conference on Computer Vision, ICCV 2017, Venice, Italy, October 22-29, 2017, 2017, pp. 2999–3007. [34] J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3d proposal generation and object detection from view aggregation,” in 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2018, Madrid, Spain, October 1-5, 2018, 2018, pp. 1–8. [35] C. Ruizhongtai Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3d object detection from RGB-D data,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2018, pp. 918–927. [36] D. Xu, D. Anguelov, and A. Jain, “PointFusion: Deep sensor fusion for 3d bounding box estimation,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn. 2018, pp. 244–253, IEEE Computer Society. [37] M. Liang, B. Yang, S. Wang, and R. Urtasun, “Deep continuous fusion for multi-sensor 3d object detection,” in Computer Vision - ECCV 2018 - 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part XVI, 2018, pp. 663–678. [38] M. Liang, B. Yang, Y. Chen, R. Hu, and R. Urtasun, “Multi-task multi-sensor fusion for 3d object detection,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2019, pp. 7345–7353. [39] G. P. Meyer, J. Charland, D. Hegde, A. Laddha, and C. VallespiGonzalez, “Sensor fusion for joint 3d object detection and semantic segmentation,” CoRR, vol. abs/1904.11466, 2019. [40] A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? the KITTI vision benchmark suite,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., Providence, RI, June 2012, pp. 3354– 3361. [41] K-L. Low, “Linear least-squares optimization for point-toplane icp surface registration,” Tech. Rep., University of North Carolina at Chapel Hill, 2004. [42] J. Yang, H. Li, D. Campbell, and Y. Jia, “Go-icp: A globally optimal solution to 3d ICP point-set registration,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 38, no. 11, pp. 2241–2254, 2016. [43] A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, “Vision meets robotics: The kitti dataset,” International Journal of Robotics Research (IJRR), 2013. [44] Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, and J. Xiao, “3d shapenets: A deep representation for volumetric shapes,” in Proc. IEEE Int. Conf. Comput. Vis. Pattern Recogn., 2015, pp. 1912–1920. [45] F. Pomerleau, F. Colas, and R. Siegwart, “A review of point cloud registration algorithms for mobile robotics,” Foundations and Trends in Robotics, vol. 4, no. 1, pp. 1–104, 2015. [46] H. Fathi, F. Dai, and M. I. A. Lourakis, “Automated as-built 3d reconstruction of civil infrastructure using computer vision: Achievements, opportunities, and challenges,” Advanced Engineering Informatics, vol. 29, no. 2, pp. 149–161, 2015. [47] B. Reitinger, C. Zach, and D. Schmalstieg, “Augmented reality scouting for interactive 3d reconstruction,” in IEEE Virtual Reality Conference, VR 2007, 10-14 March 2007, Charlotte, NC, USA, Proceedings, 2007, pp. 219–222. 未完待续... |
|
|
