AI「照妖镜」:不仅知道你P过图,还知道你P图前长啥样

2019-06-18    来源:raincent

识别 PS 照片的问题,还是需要依靠推出 PS 的公司 Adobe 来解决。
 

现在的社交媒体上充斥着各种自拍,而且其中大部分人物都长得挺好看。但大家心知肚明的是,这些照片大多被 P 过。有很多人甚至因为 P 得一手堪比「整容」的照片而走红。

虽然只是出于爱美之心,但不可否认的一个事实是,这些「照骗」的盛行,的确让我们对社交媒体的信任日渐下降。

随着技术的发展和流行,制作这种假照片的门槛越来越低,几乎人人都可以是修图大师,更不用说手机厂商和科技公司已经有实时 AI 美颜技术了。

如果有人利用 P 过的图来行骗,成功率估计也会相应提高。

 

 

那我们要如何识别这些被 P 过的照片呢?

众所周知,PS 是美国公司 Adobe 推出的一款专业图形编辑软件 Photoshop 的简称。自 1990 年发布之后,Photoshop 已经成为创造力和艺术表达进步的重要组成部分,甚至广泛影响了我们的视觉文化。但谁曾想到作为「万恶之源」的 Adobe 也在研究破解 PS 的方式。

最近,Adobe 的研究人员和来自 UC Berkeley 的合作者开发了一种检测图像 PS 痕迹的方法。该方法效果如何呢?请先看下图:

 

 

如果对比左右两张图,你可能会发现右图的脸颊更宽,而左图中更瘦,尤其是靠近下巴一块;右图的嘴角下垂,而左图嘴唇是微笑的状态。

但如果只看左图呢?你能看出来脸颊被 P 过的痕迹吗?可能下巴左边 P 得过了点,往里凹了一块,有点明显;但右边 P 得算是不错了,不太明显,小编看了半天才发现(可对比右脸下方边缘至旁边白色圆圈的距离)。

但是你看中图的检测分析,该方法圈出了右边嘴角和左脸颊下方的 PS 痕迹,且右脸颊下方用红色标注了。

此外,研究人员通过实验对比发现,人工检测 PS 照片的准确率仅为 53%,而他们提出的方法检测 PS 照片的准确率高达 99%。

 

 

准确率对比。

算法原理

这项研究利用卷积神经网络识别「修」过的人脸图片,由 Adobe 研究科学家 Richard Zhang、Oliver Wang 以及 UC Berkeley 的 Shen-Yu Wang、Andrew Owens 与 Alexei A. Efros 参与完成。

Adobe 之前对 PS 图像的检测工作主要集中在拼接、移除、复制方面,而这项研究主要针对 Adobe Photoshop 自带的功能「脸部感知液化」(Face Aware Liquify)。

脸部感知液化可以先识别人脸五官,然后用户可以使用它进行相应的修改,如眼睛大小、额头宽窄、瘦脸、鼻高等,还可以轻松调出微笑唇。

 

 

Liquify 工具堪称修图神器,而且使用起来也非常简单。

果然是「以子之矛攻子之盾」啊,Adobe 这项新研究对自己之前推出的「美颜」功能下手了!

根据 Adobe 博客介绍,这项新研究试图解决以下基本问题:

是否可以创建一个比人类识别「修图」还可靠的工具?

该工具能否指出到底「修」了哪儿?

能否撤回对原图的「修改」?

 

 

还是以上文的人脸图像为例,右一为原图,左一为 PS 后的图像(Manipulated photo),左二展示了 Adobe 这项新研究的功力:它发现了修图的具体位置(Detected manipulations),那么右二是什么呢?

仔细观察右一和右二,区别大吗?

Adobe 这项新研究把修过的地方又修回去了!

对比左一、右二和右一,可以看到,三张图存在一些细微差别。三张图的嘴角弧度不同,原图很明显是下垂的,而修过的图片则是微笑唇,撤销修图后的图片嘴角弧度则处于中间状态。

这些图像被 P 过吗?

研究人员训练了一个卷积神经网络,以识别出修改过的人脸图像。具体而言,他们使用为 ImageNet 分类任务训练的 ResNet50 [13] 架构,然后针对该任务进行微调。

另外,他们通过编写 Photoshop 脚本创建了图像训练集,以在数千幅抓取自网络的照片上进行脸部感知液化调整。

研究人员随机选择这些照片的子集进行训练。他们还请了一名美术师来手动修改一些图像,并将这些图像混入了数据集中。这样的做法拓宽了测试集中图像的修改和技术范围,超出了那些合成图像。

 

 

该研究所用数据集的具体数据。

训练数据集中的随机样本示例如下图所示:

 

 

Adobe 研究人员 Oliver 表示:「我们首先向人们展示一对图像(修改前和修改后),他们知道其中一幅图像被修改过。若我们的方法能够行之有效,那它在识别编辑过的人脸时效果应显著优于人类。」

实验对比发现,人工检测 PS 照片的准确率仅为 53%,而他们提出的方法检测 PS 照片的准确率高达 99%。

到底动了哪儿?能还原回去吗?

这个工具还能确定面部修改的特定区域和方法。此外,在实验中,该工具可以将修改后的图像还原至它们初始状态,还原效果相当不错。

具体而言,研究人员预测从原图 X_orig ∈ R^(H×W×3) 到修改后的图 X 的光流场(optical flow field)Uˆ ∈ R^(H×W×2)。之后,研究人员尝试「撤销」修改,将图像恢复为原图。

研究人员训练了一个光流场预测模型 F 来预测像素扭曲场(perpixel warping field),衡量其与每个样本真实光流场 U 之间的距离(通过计算原图和修改后的图之间的光流得到)。

下图展示了光流场的一些示例。

 

 

损失函数公式如下所示:

 

 

其中,X 是修改后的图像,U 是真值光流场,L_epe 表示光流场之间的误差。

研究者试图使光流场更加平滑流畅,于是使用以下损失函数:

 

 

UC Berkeley 的教授 Alexei A. Efros 说道:「这听起来似乎是不可能的,因为面部几何形状存在着大量的变化。但如果深度学习能够查看低级图像数据(如扭曲伪像)和高级线索(如面部布局),那这种方法似乎是行之有效的。」

那么如何「撤回」对图像的修改呢?

我们现在已经预测到了原始图像到修改图像的光流场,基于此,就可以通过「逆扭曲」来恢复原图。重建损失函数为:

 

 

而直接使用该重建损失函数会导致低纹理区域出现模糊和伪影,于是研究者联合训练以上三个损失函数:

 

 

总之,在架构层面上,研究人员使用在 ImageNet 数据集上训练的 Dilated Residual Network variant (DRN-C-26) [37] 作为基础网络,来进行局部预测。

至于光流场回归网络,研究者首先将该问题重塑为多项式分类,然后再针对光流场回归进行微调。在计算真值光流场时,研究者使用的是 PWC-Net [32]。

应用何时上线?

Richard 补充道:「制作一个神奇的「撤销」按钮来恢复图像编辑的想法离现实还很遥远。但在我们生活的这个世界里,人们越来越难以信任自己消费的数字信息,所以我们非常期待这一领域的进一步研究。

 

 

我们看到的明星照片大多经过了 PS。

与此同时,Adobe 正在进行大量研究项目,以帮助验证自身产品所创建的数字媒体的真实性,并识别和阻止滥用现象。

Adobe Research 负责人 Gavin Miller 表示:「该方法在检测某些类型的图像编辑领域迈出了重要一步,同时撤销功能的效果也出奇得好。但除了这种人脸识别方法,有经验的公众才是最好的图像鉴定者。」

Adobe 目前还没有立即将这项研究成果转变为商业产品的计划,一位发言人表示,这只是 Adobe 在更好地检测图像、视频、音频和文档操作方面的众多努力之一。

不过算法已经推出,应用还会远吗?看来解决 AI 造假的问题还是要靠 AI。

参考内容:

https://theblog.adobe.com/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop/

https://www.theverge.com/2019/6/14/18678782/adobe-machine-learning-ai-tool-spot-fake-facial-edits-liquify-manipulations

https://arxiv.org/pdf/1906.05856.pdf

标签: [db:TAGG]

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:数据基础架构正在发生巨变

下一篇:当Git和Git-LFS无法解决机器学习复现问题时,是时候祭出DVC了