|
如果你想知道下一部手机的摄像头有多好的话，最好注意制造商对人工智能的看法。除了炒作和吹牛x，这项技术在过去的几年里使摄影技术取得了惊人的进步，没有理由被认为进步会减慢。  当然，还有很多花招。但是最近摄影技术的最令人印象深刻的进步发生在软件和硅水平上，而不是传感器或透镜上——这主要归功于人工智能使相机更好地理解他们在看什么。 谷歌的照片清楚地展示了人工智能和摄影技术在2015年发布时的混合功能。在此之前，这家搜索巨头多年来一直在使用机器学习对Google+中的图片进行分类，但其照片应用程序的推出包括面向消费者的人工智能功能，这是大多数人无法想象的。  用户杂乱无章的数千张照片库一夜之间被转换成可搜索的数据库。 突然之间，谷歌似乎知道你的“猫”长什么样了。谷歌在2013年收购的dnnresearch的基础上建立了一个深度神经网络，该网络训练的数据已经被人类标记。  这被称为监督学习；这个过程包括在数百万张图片上训练网络，以便它可以在像素级别上寻找视觉线索，以帮助识别类别。随着时间的推移，该算法在识别熊猫方面越来越出色，比如说，它包含了过去用来正确识别熊猫的模式。例如，它可以了解黑色皮毛和白色皮毛之间的关系，以及它们与荷斯坦奶牛皮的区别。随着进一步的训练，人们有可能寻找更抽象的术语，如“动物”或“早餐”，这些术语可能没有共同的视觉指标，但对人类来说仍然是显而易见的。  训练这样的算法需要大量的时间和处理能力，但是在数据中心完成任务后，它可以在低功耗的移动设备上运行，而不会有太大的麻烦。繁重的工作已经完成，所以一旦你的照片上传到云端，谷歌就可以使用它的模型来分析和标记整个图书馆。大约在谷歌照片发布一年后，苹果公司宣布了一项在神经网络上接受过类似训练的照片搜索功能，但作为公司对隐私承诺的一部分，实际分类是在每个设备的处理器上单独进行的，而不发送数据。这通常需要一两天时间，并在设置后的后台发生。 智能照片管理软件是一回事，但人工智能和机器学习可以说对图像的捕获方式产生了更大的影响。是的，镜头继续变快，传感器总是能变大一点，但我们已经在物理上的限制，当涉及到将光学系统塞进纤细的移动设备。尽管如此，如今手机在某些情况下拍出比很多专用相机设备更好的照片并不罕见，至少在后期处理之前是这样。这是因为传统相机无法在另一类硬件上进行竞争，而这类硬件对摄影来说同样意义深远：芯片上的系统包含一个CPU、一个图像信号处理器，以及越来越多的神经处理单元（NPU）。  这是一个被称为计算摄影（computical photography）的硬件，一个广泛的术语涵盖了从手机肖像模式中的假景深效果到有助于驱动谷歌像素令人难以置信的图像质量的算法的所有内容。并非所有的计算摄影都涉及人工智能，但人工智能肯定是其中的一个重要组成部分。  苹果利用这项技术来驱动其双摄像头手机的纵向模式。iPhone的图像信号处理器使用机器学习技术通过一个摄像头识别人，而第二个摄像头创建深度图以帮助隔离主题和模糊背景。当这个功能在2016年首次出现时，通过机器学习识别人的能力并不是什么新鲜事，因为照片组织软件已经在做这个了。但以智能手机摄像头所需的速度实时管理它是一个突破。  然而，谷歌仍然是这一领域的明显领导者，所有三代像素产生的卓越结果是最令人信服的证据。默认拍摄模式hdr+，使用了一种复杂的算法，将几个曝光不足的帧合并为一个帧，正如谷歌的计算摄影负责人Marc Levoy指出的那样，机器学习意味着系统只会随着时间而变得更好。与谷歌照片软件一样，谷歌已经将其人工智能训练在一个巨大的标签照片数据集上，这进一步帮助了相机的曝光。尤其是像素，产生了令人印象深刻的基线图像质量水平，以至于我们中的一些人在这个网站上的专业工作中使用它已经非常舒适了。  但谷歌的优势从来没有像几个月前推出夜视系统那样明显。新的像素功能将长曝光缝合在一起，并使用机器学习算法计算更精确的白平衡和颜色，坦率地说，结果令人吃惊。这项功能在Pixel3上效果最好，因为算法的设计考虑到了最新的硬件，但Google使其适用于所有的像素手机——甚至是原始的，它缺乏光学图像稳定——这是一个惊人的广告，说明软件在mobi上比相机硬件更重要让人们乐于摄影。  也就是说，硬件仍然有发挥作用的空间，特别是在人工智能的支持下。p20 ，以及母公司华为的Nova4，是第一个使用索尼IMX586图像传感器。这是一个比大多数竞争对手更大的传感器，4800万像素，代表了在任何手机上都能看到的最高分辨率。但这仍然意味着要在一个很小的空间中塞进很多微小的像素，这对于图像质量来说往往是个问题。然而，在我看来，20项测试中，荣耀的“人工智能超清晰”模式擅长最大限度地利用分辨率，通过分解传感器不寻常的滤色片来释放额外的细节。这会产生巨大的照片，你可以放大几天。  图像信号处理器在一段时间内对手机相机的性能非常重要，但随着计算摄影技术的发展，NPU可能会发挥更大的作用。华为是第一家宣布采用专门人工智能硬件的片上系统的公司，麒麟970，尽管苹果的A11仿生最终首先到达了消费者。全球最大的安卓处理器供应商高通公司（Qualcomm）尚未将机器学习作为主要的焦点，但谷歌开发了自己的芯片Pixel Visual Core，以帮助完成与人工智能相关的成像任务。与此同时，最新的苹果A12仿生有一个8核的神经引擎，可以在苹果的机器学习框架core ML中运行任务，比A11快九倍，而且第一次直接连接到图像处理器。苹果公司说，这能让相机更好地理解焦平面，例如，帮助产生更真实的景深。  这种硬件对于提高设备机器学习的效率和性能将变得越来越重要，因为它对处理器的要求非常高。记住，谷歌照片的算法是在强大的大型计算机上训练的，这些计算机具有强大的GPU和张量核心，然后才被放在你的照片库中。可以说，大部分工作可以“提前”完成，但在移动设备上实时执行机器学习计算的能力仍然是最前沿的。 谷歌已经展示了一些令人印象深刻的工作，可以减轻处理负担，而神经引擎则在一年内变得越来越快。但即使是在计算摄影的早期阶段，手机摄像头也能带来真正的好处，这些摄像头是围绕机器学习而设计的。事实上，在过去几年人工智能炒作浪潮所带来的所有可能性和应用中，今天最实际使用的领域可以说是摄影。 相机是任何手机的基本功能，而人工智能是我们改进它的最佳手段。 |
|
|
