【泡泡图灵智库】神经网络的RGB-D曲面重建

taotao_2016 2022-06-10 发布于陕西

展开全文

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Nerual RGB-D Surface Reconstruction

作者：Dejan Azinovic，Ricardo Martin-Brualla，Dan B Goldman，Matthias Nießner，Justus Thies

机构：Technical University of Munich，Google Research ，Max Planck Institute for Intelligent Systems

来源：CVPR2022

编译：张海晗

审核：zhh

代码：https://github.com/dazinovic/neural-rgbd-surface-reconstruction

这是泡泡图灵智库推送的第761篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是Nerual RGB-D Surface Reconstruction，神经网络的RGB-D曲面重建。

获得房间规模场景的高质量3D重建在VR和AR中的应用是至关重要的。虽然当前使用NeRF可以对一些对象和场景的外观进行三维重建，但并不能重建实际表面。在使用Marching Cubes提取表面时，基于密度的体积表示会导致伪影，这是因为在优化的过程中，密度会沿着射线方向积分，而且不会用于某个单独的采样点。我们建议使用隐式函数TSDF（truncated signed distance function)）来表示表面，而不是用体积来表示表面。我们展示了如何在NeRF框架中加入这种表示，并将其扩展为使用来自RGB-D传感器的深度估计。此外，我们还提出了一种相机位姿估计和优化技术，可以提高整体的重建质量。

主要工作与贡献

提出了一种基于RGB-D的场景重建方法，该方法利用了密集的颜色和深度信息进行三维重建。
本文将深度估计有效地结合到神经辐射场的优化中，使用基于距离的带符号的表面表示来储存场景几何信息。
本文提出的姿态估计和相机优化技术能够补偿输入数据中的错位，从而产生高质量的重建模型，并在SCanNet数据集上验证了这一点。

主要方法

混合场景表示

在本文中，混合场景表示是将传统的隐式表面表示与体积外观表示相结合的一种全新表面表示方式。传统的隐式表面表示是基于截断符号距离（truncated signed distance）的一种表示方式，体积外观表示是借鉴Nerf（Nerual Radiance Field）中的基于密度的体积外观表示方法。我们将颜色渲染为沿光线的辐射值的加权和。这里不同的地方是，不是根据介质的密度将权重计算为给定样本点的光反射概率，而是直接从符号距离值计算权重，作为两个 sigmoid 函数的乘积。

该函数产生了带符号距离场的无偏估计。截断距离tr直接控制当与表面的距离增加时权重降为零的速度。为了考虑多个交叉点的可能性，第一个截断区域之外的样本权重设置为零。沿特定光线的颜色近似为 K 个采样颜色的加权和。

混合场景表示网络由两个表示形状和辐射度的MLP 组成，如图 1 所示。形状MLP将查询的 3D 点 γ(p) 的编码作为输入，并将截断符号距离 Di 输出到最近的表面。第二个 MLP 的任务是产生给定编码视图方向 γ(d) 的表面辐射度和形状 MLP 的中间特征输出。视图矢量调节决定我们的方法可以处理与视图相关的效果，例如镜面高光，否则将必须通过变形几何来建模。由于颜色数据经常受到不同的曝光或白平衡的影响，我们学习每帧潜在的corrective code vector作为辐射 MLP 的附加输入。