古有照妖镜今有换脸识别机 微软CVPR 2020力作让伪造人脸无处遁形

3.通过上述第一个公式得到混合后的图像，然后根据第二个公式得到混合边界在实践中，会随着训练过程进行动态生成标签数据，并以自我监督的方式训练框架。所以，仅仅在真实图像层面上进行操作就可以产生大量的训练数据。

在训练过程中，由于深度学习具有极强的表征学习能力，所以研究人员采用了基于卷积神经网络的框架。其中输入为图像，输出为Face X-Ray，然后基于预测的Face X-Ray，输出一个图像是否真实的混合概率。另外，对预测采用的是广泛使用的损失函数。对于Face X-Ray，采用交叉熵损失来衡量预测的准确性。总的来说，Face X-Ray不需要依赖于与特定人脸操作技术相关的伪影知识，并且支持它的算法可以在不使用任何方法生成假图像的情况下进行训练。

三、实验

在实验部分，研究人员在Face Forensics++和另一个包含由真实图像构建的混合图像的训练数据集上训练了Face X-Ray，训练只采用数据库里的“真图”，不使用假图。其中，Face Forensics++是一个包含1000多个用四种最先进的面部操作方法操作的原始剪辑的大型视频语料库，包括DeepFake、Face2Face、Face Swap、NeuralTextures。

在测试部分评估了Face X-Ray使用四个数据集的泛化能力。这四个数据集包括：Face Forensics++、Deepfakedetection、Deepfake Detection Challenge、celeb-DF。

泛化能力评估

首先使用与Xception相同的训练集和训练策略来评估Face X-Ray检测模型。为了得到准确的Face X-Ray图像，将真实图像作为背景，将换脸的图像作为前景，给出一对真图像和假图像。为了公平比较，还给出了二元类的结果。结果如下图所示：

泛化能力评价，在未知的换脸检测中，仅使用分类器会导致性能下降。

另外，也对泛化能力进行了改进，其改进主要来自两个部分：1.建议检测Face X-Ray而不是操作特有的伪影。2.从真实的图像中构建大量的训练样本。结果显示仅使用自监督数据，也能够达到很高的检测精度。

未知数据集的基准结果

从最近发布的大规模数据集上测试，然后从AUC、AP和EER三个方面给出结果。如下图所示框架比基准的性能更好。如果使用其他的换脸图像，即使与测试集有不同的分布，性能也会有所提高。

下图给出了各种类型的换脸图的视觉示例，通过计算伪面与真实图像之间的差异，然后转化为灰度，进行归一化之后从而获得基本事实。如下图所示，预测Face X-Ray能够较好的反映事实。

算法预测出的融合边界

与现在的工作进行对比

最近的一些相关工作也注意到了泛化问题，并在一定程度上试图解决这一问题。FWA还采用了一种自我监督的方式，从真实图像中创建负片样本。然而，它的目标只是描述只存在于DeepFake生成的视频中的面部扭曲伪影。

Table3~Table5为图示，请自动忽略Table6

上表中的其他工作都试图学习固有表示，以及同时进行MTDS学习检测和定位。进过比较Face X-ray有超过了现有的SOTA。

对拟议框架的分析（Analysis of the proposed framework）

自监督数据生成中数据增强的总体目标是提供大量不同类型的混合图像，以使模型具有检测各种篡改图像的能力。

在这部分，作者研究了两个重要的增强策略：a)掩模变形，其目的是给Face X-Ray的形状带来更大的变化；b)颜色校正，以产生更逼真的混合图像。这两种策略对于产生多样化和高正确度的数据样本是至关重要的，这些数据样本对网络训练也产生了帮助。

另外，在自监督数据生成过程中，采用了相位混合的方法，使用不同类型的混合来构建测试数据，并在使用alpha混合构建训练数据时对模型进行评估。结果如下图所示

One More Thing

Face X-Ray对于“半合成”图像有奇效，但是也有两个局限性，第一是对于纯合成的图片，由于标记无法有效识别，所以FaceX -Ray无法攻克。这也就是前面说的：“这个方法依赖于一个混合步骤，因此可能不适用于完全合成图像”。

第二个局限是如果有人专门针对此算法训练对抗样本，那么也有可能Face X-Ray也有可能失效。

另外，和其他换脸检测技术一样，此技术对图像分辨率敏感，如果图片分辨率较低，那么Face X-Ray检测率也会较低。

左：郭百宁。右：陈栋

针对此项研究，AI科技评论也专门采访了微软亚洲研究院常务副院长郭百宁和微软亚洲研究院高级研究员陈栋。

问：对于完全合成图片以及对抗样本Face X-Ray无法准确识别，有何解决办法？

答：我们尚在研究中，计划在背景细节处的检测下功夫，因为合成的图片一般对于背景的处理比较粗糙。另一个想法是从将真实图片与伪造图片进行对比训练算法，因为一般名人或者其他人脸图片都有独特的属性ID，将这种独特的属性ID作为数据训练也能改进算法。

问：Face X-Ray能够识别用修图工具修改的人脸照片？

（编辑：新余站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!