[发明专利]一种基于身份差异量化的伪造换脸图像检测方法和系统

说明书

本发明公开了一种基于身份差异量化的伪造换脸图像检测方法和系统，属于深度伪造检测技术领域。获取并配置换脸生成模型，并对所述的换脸生成模型进行参数微调；获取与待测图像具有相同身份的真实图像作为参考图像；以参考图像和待测图像构成四种输入组合，利用得到的换脸生成模型生成四种重建图像；根据参考图像、待测图像、以及四种重建图像，计算待测图像和参考图像之间的身份差异指标；根据身份差异指标进行图像真伪的判别。本发明不需要用伪造图像训练网络，因此对未知伪造方法的泛化性好；同时身份特征是高层语义特征，不会被压缩等图像操作破坏，因此本发明对图像失真也保持鲁棒。

技术领域

本发明涉及深度伪造检测技术领域，尤其涉及一种基于身份差异量化的伪造换脸图像检测方法和系统。

背景技术

近年来，由于深度生成模型的进步，尤其是生成对抗网络(GAN)的进步，使得生成假人脸变得更加直接，同时识别它们更具挑战性。

滥用该技术可能会对个人和我们的社会造成严重伤害，例如，深度伪造(Deepfake)被用于诽谤名人和传播虚假内容。在这样的背景下，对于深度伪造多媒体的检测受到了研究者的广泛关注。

绝大部分现有的研究都是以有监督的方式，用大量的真伪图像数据训练一个CNN分类器，以检测假脸。对于由包含在训练集中的已知伪造方法生成的伪造图像，这类工作表现的很好，并取得了令人满意的结果。然而，当面临未知伪造方法生成的测试图像时，它们通常会遭受显着的性能下降。最新为提升模型对未知伪造方法的泛化性的尝试包括数据增强、域适应、基于块分类的局部特征建模等方法。然而，这些方法依然会对训练过程中所见过的操作过度拟合，难以达到很好的泛化效果。

另一类研究使用专家知识来提取存在于各种伪造操作中的通用特征，如混合边界痕迹、高频伪影。这些精心设计提取的伪造伪影有助于提高对未知伪造方法的泛化能力，但对于图像失真非常脆弱，例如压缩、模糊、缩放等操作会影响现有方法对伪造图像的检测能力。

发明内容

本方法针对现有技术的不足，提出一种基于身份差异量化的伪造换脸图像检测方法和系统，使用换脸生成网络将待测图像对齐到特定的属性空间，通过计算生成图像与原图像之间的差异，设计身份差异量化指标，实现对图像的伪造检测。

为了实现上述目的，本发明采用如下技术方案：

一种基于身份差异量化的伪造换脸图像检测方法，包括以下步骤：

步骤1，获取并配置换脸生成模型，并对所述的换脸生成模型进行参数微调；

步骤2，获取与待测图像具有相同身份的真实图像作为参考图像；

步骤3，以参考图像和待测图像构成四种输入组合，利用步骤1得到的换脸生成模型生成四种重建图像；

步骤4，根据参考图像、待测图像、以及四种重建图像，计算待测图像和参考图像之间的身份差异指标；

步骤5，根据身份差异指标进行图像真伪的判别。

作为本发明的优选，所述的换脸生成模型包括一个解码器和一个由目标图像分支网络、源图像分支网络、融合网络构成的编码器；所述的目标图像分支网络用于提取目标图像的属性特征，源图像分支网络用于提取源图像的身份特征，融合网络用于融合属性特征和编码特征，经解码器解码后得到生成图像。

作为本发明的优选，所述的换脸生成模型的参数微调步骤包括：

(1-1)选取人脸图像数据作为微调训练集，预处理人脸图像，包括定位并裁剪人脸区域、人脸对齐和尺寸调整；提取预处理后的人脸图像的身份特征向量；

(1-2)以1:1的比例划分两类训练图像输入组合，其中第一类训练图像输入组合为两张相同的人脸图像，第二类训练图像输入组合为两张随机的不同人脸图像；