|
视频介绍：人像光：通过机器学习增强人像照明 专业人像摄影师能够通过使用专业设备（例如离机闪光灯和反光镜）和专业知识来拍摄出引人注目的照片，以捕捉拍摄对象的正确照明。为了让用户更好地模拟具有专业外观的人像，我们最近发布了人像光，这是 Pixel 相机和 Google 照片应用程序的新拍摄后功能，可为人像添加模拟定向光源，方向性和强度设置为补充原始照片的照明。
在 Pixel 4、Pixel 4a、Pixel 4a (5G) 和 Pixel 5 上的 Pixel 相机中，人像光会在拍摄后自动应用于默认模式下的图像以及包含人物的Night Sight照片——只有一个人，甚至一个人小团体。在人像模式照片中，人像光提供更戏剧性的照明，以配合已经应用的浅景深效果，从而产生工作室品质的外观。但由于照明可能是个人选择，因此在人像模式下拍摄的 Pixel 用户可以手动重新定位和调整 Google 相册中应用的照明的亮度，以符合他们的喜好。对于在 Pixel 上运行 Google 照片的用户，这种重新照明功能也可用于许多预先存在的人像照片。
今天我们展示了人像光背后的技术。受人像摄影师使用的离机灯的启发，Portrait Light 模拟了一种可重新定位的光源，可以添加到场景中，自动选择初始照明方向和强度以补充照片中的现有照明。我们通过利用新颖的机器学习模型来实现这一点，每个模型都使用Light Stage计算照明系统中捕获的不同照片数据集进行训练。这些模型启用了两种新的算法功能：
这些创新使人像灯能够在任何时候为每个人像创建有吸引力的照明——一切都在您的移动设备上。 自动灯光放置摄影师在决定如何使用离机光源增强环境照明时通常依赖于感知线索。他们评估落在脸上的光线的强度和方向性，并调整拍摄对象的头部姿势以补充它。为了通知 Portrait Light 的自动灯光放置，我们开发了这两个感知信号的计算等效项。 首先，我们训练了一个新颖的机器学习模型，以基于输入的肖像来估计场景的高动态范围、全向照明轮廓。这种新的光照估计模型可以推断场景中来自各个方向的所有光源的方向、相对强度和颜色，将人脸视为光探测器。我们还使用MediaPipe Face Mesh估计了肖像主体的头部姿势。
使用这些线索，我们可以确定合成照明的来源方向。在工作室人像摄影中，从头顶看场景时，主要的离机光源或主光放置在眼线上方约 30° 处，并与相机轴成 30° 到 60° 之间。我们遵循此准则以获得经典的肖像外观，增强场景中任何预先存在的照明方向性，同时瞄准约 2:1的平衡、微妙的关键与填充照明比。 数据驱动的人像重新照明给定所需的照明方向和人像，我们接下来训练了一个新的机器学习模型，将定向光源的照明添加到原始照片中。训练模型需要数百万对有或没有额外光线的肖像。在正常设置下拍摄这样的数据集是不可能的，因为它需要对在不同光照条件下拍摄的人像进行近乎完美的配准。 相反，我们通过使用Light Stage计算照明系统拍摄 70 个不同的人来生成训练数据。这种球形照明设备包括 64 个具有不同视点的摄像机和 331 个可单独编程的 LED 光源。我们拍摄了每个人被每盏灯一次照亮一盏灯 (OLAT) 的照片，这会产生它们的反射场——或者它们被球形环境的离散部分照亮的外观。反射场对对象皮肤、头发和衣服的独特颜色和光反射特性进行编码——每种材料看起来有多么闪亮或暗淡。由于叠加原理对于光，这些 OLAT 图像然后可以线性相加在一起，以渲染对象的逼真图像，就像它们出现在任何基于图像的照明环境中一样，并正确表示了地下散射等复杂的光传输现象。 使用 Light Stage，我们拍摄了许多不同脸型、性别、肤色、发型和服装/配饰的人。对于每个人，我们在许多不同的照明环境中生成合成肖像，无论是否添加定向光，渲染数百万对图像。该数据集鼓励跨不同照明环境和个人的模型性能。
使用商图像学习保留细节的重新照明我们没有尝试直接预测输出的重新照明图像，而是训练重新照明模型输出低分辨率的商图像，即每像素乘数，当上采样时可以应用于原始图像输入图像以产生所需的输出图像，并添加额外光源的贡献。这种技术计算效率高，只鼓励低频照明变化，而不会影响高频图像细节，这些细节直接从输入传输以保持图像质量。 使用几何估计监督重新照明当摄影师向场景中添加额外的光源时，其相对于拍摄对象面部几何的方向决定了面部每个部分的亮度。为了模拟从相对无光泽的表面反射的光源的光学行为，我们首先训练了一个机器学习模型来估计给定输入照片的表面法线，然后应用朗伯定律来计算所需照明方向的“光能见度图”。我们提供此光能见度图作为商图像预测器的输入，确保使用基于物理的见解训练模型。
我们优化了整个管道，以在移动设备上以交互式帧速率运行，模型总大小低于 10 MB。以下是一些使用人像光的示例。
充分利用人像光您可以在像素相机中尝试人像光，并在 Google 相册中根据自己的喜好更改光的位置和亮度。对于使用双重曝光控制的用户，可以在拍摄后应用人像光以获得额外的创作灵活性，以在光影之间找到恰到好处的平衡。在您的 Google 相册库中的现有图像上，尝试在脸部略微曝光不足的地方使用人像光可以照亮并突出您的主题。它特别有利于单个人直接对着相机摆姿势的图像。 更新说明：优先更新微信公众号“雨夜的博客”，后更新博客，之后才会陆续分发到各个平台，如果先提前了解更多，请关注微信公众号“雨夜的博客”。 |
|
|
