成像专题 | 大规模且高精度三维人脸重建（IEEE CVPR）

FaceScape: a Large-Scale High-Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction

本期导读

   人脸相关的技术已经深入大众生活的方方面面，从手机应用中的人脸识别和人脸美化，到荧幕上的影视特效和虚拟主播，再到虚拟游戏世界中的三维人物捏脸，三维人脸的解析和重建是其中的关键技术，也是如今计算机视觉和人工智能领域的研究热点。本期分享来自南京大学和百度研究院的合作研究成果，相关成果《FaceScape: a Large-Scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction》 发表于计算机视觉和人工智能领域的顶级会议CVPR 2020。该工作发布了大规模、高精度三维人脸数据库，从数据层面打开人脸重建和解析研究的突破口，同时提出了通过单幅图像预测不同表情下精细三维结构的新方法（请往下看，含诸多动图）。FaceScape数据集已开放申请和下载，后附数据集发布网站和项目主页的链接。

技术背景

人脸三维模型的解析和恢复是计算机视觉和人工智能领域的研究热点，具有广泛的应用前景。三维人脸模型可应用于基于图像的三维重建、表情解析、虚拟合成、人脸编辑等众多应用中。如下图所示，数字人Siren项目通过建立的高精度参数化三维模型生成了逼真的虚拟影像，是人脸三维模型应用于虚拟影像生成的应用实例。

    近年来，随着机器学习成为解决人脸追踪、识别、三维重建、虚拟生成等问题的突破点，三维人脸数据库起到了越加重要的作用。已有的三维人脸数据库通过主动式深度传感器或稀疏的相机阵列系统采集三维模型，所得到三维模型精度和完整度较低。同时，由于重建模型的数量较少，所构建的参数化模型在外貌和表情维度的表达能力有限。简而言之，已有的人脸三维数据库在质量和数量上的不足限制了人脸相关的研究。

该工作采集并发布了大规模、高精度人脸三维数据集FaceScape。相比于已有的公开数据集，FaceScape数据集在模型的几何结构精度、纹理分辨率、外貌和表情多样性方面均有显著提升。通过在FaceScape数据上的训练，该工作提出了通过单幅图像重建高精度可操控的人脸三维模型，实现了单幅图像预测特定表情下精细三维结构的新方法。 

公开数据集

FaceScape数据集包含约1.8万个含有彩色纹理的高精度三维模型，其中约1.7万个模型作为训练集公开。这些模型来自于超过800位不同年龄段、不同身份的参与者，以及每位参与者的20种指定表情。所公开的数据包含了毛孔级别的细微几何结构和高清纹理贴图，并具有统一的面片网格拓扑结构。

已公开的资源包括：

• 拓扑一致化模型(TU model): 16940个包含4K分辨率纹理贴图、置换贴图的拓扑一致化三角形面片网格模型。对应847个不同身份和20个指定表情。
• 多视点数据(Multi-view data): 约40万张高精度多视点图像，以及相关的相机参数、重建模型。对应359个不同身份和20个指定表情。
• 双线性模型(Bilinear model): 四种不同设置下的参数模型，包含基础外形和顶点颜色。
• 个人信息: 847位被采集者的性别和年龄信息。
• 工具: 通过三维模型生成深度图、获取标记点、提取面部模型的Python工具集。
  
  

*FaceScape数据集仅用于非商业的学术研究，可通过数据发布网站申请和下载(见文末)。相关研究进展和最新公开资源将在本项目GitHub页面持续更新。

技术路线

借助于FaceScape大规模、高精度的数据，该工作提出通过神经网络预测指定表情下的动态三维结构的新方法，进而实现了单视图重建可驱动的高精度人脸三维模型。与以往的方法不同，所述的研究方法能够预测人脸不同表情状态下的高精度几何结构，进而合成各种表情下的高精度三维模型。

如上图所示，本方法包括三个阶段：（1）基底模型适应--通过优化方法获得与输入图像最优适应的融合变形模型；（2）置换贴图预测--以表示外貌的纹理贴图和表示表情变化的运动贴图作为输入，通过卷积神经网络预测多个表情基下的置换贴图；动态细节合成--通过结合动态置换贴图和基底模型，获得可操控的高精度三维模型。

该方法预测得到的三维模型在原表情下的重建精度高于以往的方法，如下图所示 (MAE为平均绝对误差，单位为mm)：

此外，该方法够通过控制融合变形权重，操控预测模型的表情生成动画，如下图所示：

模型表情操控的动图展示：

论文信息：Haotian Yang*, Hao Zhu*, Yanru Wang, Mingkai Huang, Qiu Shen, Ruigang Yang, Xun Cao, FaceScape: a Large-Scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction, IEEE CVPR (2020).

数据集发布网页：

https://facescape./

GitHub项目页面：

https://github.com/zhuhao-nju/facescape

Reference

[1] Anpei Chen, et al. Photo-realistic facial details synthesis from single image. CVPR, 2019.

[2] Anh Tuan Tran, et al. Extreme 3d face reconstruction: Seeing through occlusions. CVPR, 2018.

[3] Xiangyu Zhu, et al. Face alignment in full pose range: A 3d total solution. PAMI, 2017.

回顾与预告

上期回顾：显示专题 | 全息光学器件助理轻薄虚拟现实（ACM TOG）欢迎点击查阅

下期预告：