|
大数据文摘出品 作者：蒋宝尚 Photoshop是迄今为止世界上最畅销的图象编辑软件。它已成为许多涉及图像处理的行业的标准。 PS的出生也颇有传奇色彩，它最初是由托马斯·诺尔（Thomas Knoll）和约翰·诺尔（John Knoll）这对兄弟于1987年为了完成研究论文而制作的。
但是直到1990年后，这个软件才由Adobe公司首次发布。从出生到发布期间困难重重不足为外人道。 经历了几十年的发展，PS已经成为了Adobe公司最大的收入来源。尤其是在中国，PS确实帮助很多普通人实现了“网红梦” ，更是被授予了“亚洲四大邪术之一”的称号。 Adobe最近宣布开发出了一项新技术 —— “图像处理反侦查” ，使用AI就可以检测出图像是否被PS了。
研究成果是Adobe公司和加州大学伯克利分校的科学家合作取得的，使用这项新技术可以轻松识别图像中被拼接、复制以及删除的部分。
这是反PS效果，由左至右依次为：经修改的图像、检测到修改、自动还原后的图像、原始图像。 由于Photoshop也是Adobe公司的，在吐槽Adobe自己打自己之外，更多的是直呼Adobe这种功能是魔鬼吗？毕竟现在的小青年，拍照不PS都不好意思发朋友圈~
不过也有拍手叫好的小伙伴，因为受过PS美颜的苦~例如下面的这个案例~
其实，有些PS的图，如果仔细看也能够看出来，但这款工具准确率更高。Adobe表示，与人眼53%的准确率相比，他们的工具识别准确率高达99％。 但是“照骗”的小伙伴暂时可以松一口气，因为目前Adobe没有立即打算将这项最新成果进行商业化。 两年开发两种算法来杀自己 传统的反PS方法，非专业人士不可为，毕竟使用光线分析工具来判断一张照片是不是原始图片需要很深的功底。 以下是操作步骤，你估摸估摸~ 基于从一张照片表面上不同部分所取得的线索，制作出整张照片的光谱模型，这对包含单一色彩表面的照片尤其有效。用户可以指定某个需要鉴别的照片表面进行分析，就可以得到一套系数来代入一个复杂的、反映该表面周围整体光线环境的方程式，然后与其他表面的分析、计算结果进行比较，如果其差异超出了特定范围，则这张照片就有可能曾被处理过。 而这项研究利用卷积神经网络识别PS过的人脸图片，直接了当的告诉你哪张照片PS过了、PS了哪里、最初的模样是个啥。 此大杀器是由Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。
目前，研究成果以成论文，并放在了arxiv上面~ 论文地址： https:///pdf/1906.05856.pdf 其实，早在2018年Adobe公司在CVPR 2018上展示了机器是如何在更短时间内自动识别出照片的修改痕迹的。当时的那篇论文并不能看作计算机视觉领域的一大突破，但是看到Adobe这个“PS专业户”发明“反PS工具”还是很有趣的。
论文地址： http://openaccess./content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf 那次的论文展示了如何用机器学习发现图像的三种改变：拼接、复制、删除。 为了发现这些特点，科学家们通常会在图像的隐藏层中寻找线索。只要这些图像经过编辑，它们会留下数字化痕迹，例如图像传感器产生的颜色和亮度的不一致性（也被称为图像噪声）。当你将两张不同的照片拼在一起，或者从另一张图中复制粘贴其中一部分，背景噪声是不匹配的，就像用有些许色差的油漆掩盖墙壁上的污渍。
换句话说，研究人员训练了一个深度学习神经网络来识别图像处理。第一种方法是识别 RGB 的变化，第二种是识别噪点。这项技术将这两种方法结合起来用，以此实现更准确的识别。 而最新的这项研究主要针对 Adobe Photoshop 自带的功能脸部感知液化（Face Aware Liquify）。 因为脸部感知液化可以先识别人脸五官，然后用户可以使用它进行相应的修改，如眼睛大小、额头宽窄、瘦脸、鼻高等，还可以轻松调出微笑唇。 在这篇论文中提出了两种模型：一种是全局分类模型，任务是预测人脸是否发生改变；另一种是局部分类模型，可以用来识别发生改变的位置。 首先用ResNet50架构训练一个二元分类器。确定图片是否被修改过。在最后的评估过程测量了图片像素（即是否为高清）对模型的影响，以及为了增强稳健性，还对数据进行了增强，所使用的方法包括调整图片大小，调整图片的对比度和饱和度等的。 另外，研究人员通过编写 Photoshop 脚本创建了图像训练集，几千张，几千张的从网上抓取图片进行训练。 这还不够，研究人员还请了美术方面的专家帮他们手动修改图片扩大训练集。
该研究所用数据集的具体数据。 不同的目标对应不同的损失函数 研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场（optical flow field）Uˆ ∈ R^(H×W×2)。之后，研究人员尝试将图像恢复为原图。 研究人员训练了一个光流场预测模型F来预测像素扭曲场（perpixel warping field），衡量其与每个样本真实光流场 U 之间的距离（通过计算原图和修改后的图之间的光流得到）。 下图展示了光流场的一些示例。
损失函数公式如下所示：
通过逆扭曲来恢复原图。重建损失函数为：
其中，X是修改后的图像，U是真值光流场，L_epe表示光流场之间的误差。 研究者试图使光流场更加平滑流畅，于是使用以下损失函数：
而直接使用该重建损失函数会导致低纹理区域出现模糊和伪影，于是研究者联合训练以上三个损失函数：
最后，算法模型的全局评估结果如下☟
相关报道： https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/ |
|
|
