古有照妖镜今有换脸识别机 微软CVPR 2020力作让伪造人脸无处遁形

此项技术发表在论文《Face X-Ray for More General Face Forgery Detection》中，据研究人员在相应的论文中指出，此类工具有助于防止换脸图像被滥用。

这项技术与现有方法不同，它能够准确检测“未知”图像，即不论什么算法合成的，在不进行针对性的训练的情况下也可以进行检测。

生成训练样本概述

更为具体的是它会生成灰度图像，显示给定的输入图像是否可以分解为来自不同来源的两个图像的混合。毕竟，大多数操作换脸的方法，都是将生成的图片和已有的图片结合。

这也就是说Face X-Ray不光能判断是否是合成图片，还能指出哪个地方是合成的，即兼备识别+解释两种功能。

如上，下面一张图显然是合成的。

算法的核心思想是识别每一幅图像的独特标记。这些标记产生的原因很多，可能来自算法等软件因素，也有可能来自传感器等硬件因素。

此算法与市面上一些二分类换脸检测相比，Face X-Ray更能有效地识别出未被发现的换脸图像，并能可靠地预测混合区域。

与二分类检测器实验对比结果

但是论文中也指出，这个方法依赖于一个混合步骤，因此可能不适用于完全合成图像，可能被对抗性样本骗过。

一、相关工作

假脸技术日新月异，很多算法能够合成图片，而且合成的图片越来越逼真，这意味着伪造的图片可能被乱用，所以研究换脸检测技术非常重要。

此类的检测技术，学界已有研究，不过大多都是“二分类”检测方法，虽然也能达到98%的准确率，然而这些检测方法往往会受到过渡匹配的影响，也就是说在处理不同类型的图片时，检测方法的性能会显著下降。

更为具体一点，能区分真人和照片的技术叫做liveness detection，中文叫做“活体取证”。当前的技术主要是根据分辨率、三维信息、眼动等来区分，因为翻拍的照片分辨率比直接从真人上采集的照片在质量、分辨率上有差别。

而对于视频欺骗，根据三维信息、光线等来区分。

对于具体的应用，谷歌曾经推出一款照片打假神器名为 Assembler，具有 7 个检测器（detectors），其中 5 个由美国和意大利的大学研究团队开发，分别负责检测经不同类型的技术处理过的照片，例如合成、擦除等。

而另外两个检测器由 Jigsaw 自己的团队开发，其中一个旨在识别deepfake，也就是这两年引起热议的AI 换脸，该检测器使用机器学习区分真人图像和 StyleGAN 技术生成的 deepfake。

对于假图片，标出可能拼接的区域。而Face X-Ray方法可以针对合成图片的共性：图片拼接，即一张图片和另一张图片混合。检测图片可能存在的混合区域，分析差异，找到图片标记，从而判断是否是合成图片。

二、Face X-Ray算法详情

典型的换脸合成方法包括三个阶段：

1、检测面部区域；

2、合成期望的目标面部；

3、将目标面部融合到原始图像中。

现有的对面部合成图像检测通常面向第二阶段，并基于数据集训练有监督的每帧二进制分类器。这种方法可以测试数据集上实现近乎完美的检测精度，如果遇见训练时没见过的换脸图像，性能会出现明显下降。而Face X-Ray的关键步骤是从图像中获取标记数据，然后用“自监督”的方式训练框架。

值得一提的是这里的自监督是打引号的，不同于传统的自监督定义，这里的无监督是指不从换脸数据库里训练算法。前面也提到，图片的标记主要来自两个方面，硬件和软件。在正常的图像中，硬软件产生的标记一般是具有“周期性”或者是均匀的。一旦图像改变，就会打破这种均匀，因此可以利用标记判断是否是合成图片。具体到算法层面，对合成图像定义如下：

公式1

⊙表示逐个元素相乘，IF表示一种提供面部属性的图像，IB代表提供背景的图，M是分隔被操纵区域的掩码（the mask delimiting the manipulated region），其每个像素的灰度值在0.0和1.0之间。

公式2

如上将Face X-Ray定义为图像B，然后如果输入的是合成图像，那么B会显示混合区域，如果输入的是真实图像，那么会B对于所有像素来说是0。

本质上来讲，Face X-Ray的目的是将图像分解为两个不同来源的图，毕竟不同来源的图像有些细微的差异人眼无法发现，而计算机可以。

换句话说Face X-Ray是一种发现图像差异的计算表示，它只关心混合边界。

然后到了“自监督”学习模块。这一部分的难点在于解决如何仅用真实的图片获取相应的训练数据。主要分为3个部分。

1.给定一个真实图像，然后寻找另一个图像作为真实图像的变体。使用face landmarks作为匹配标准，并根据欧式距离进行搜索。

2.生成掩码划定“伪造”区域。

（编辑：新余站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!