[发明专利]一种基于图像域频域双流网络的人脸伪造检测方法

说明书

本发明涉及计算机视觉技术领域，具体涉及的是一种基于图像域频域双流网络的人脸伪造检测方法。该检测方法包括模型训练和模型推断两个阶段；在模型训练阶段，利用具有高计算性能的服务器对网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于图像域频域双流网络模型；在模型推断阶段，利用模型训练阶段获得的网络模型，判断新的图像是否为人脸伪造图像。相比于将人脸伪造检测转化为二分类问题的方法，本方法实现了层级分类，利用了伪造图像多样性的监督信息，能够达到更好的检测精度。

技术领域

本发明涉及计算机视觉技术领域，具体涉及的是一种基于图像域频域双流网络的人脸伪造检测方法。

背景技术

随着先进的人脸合成算法的发展，各种逼真的伪造人脸也随之产生，在社交媒体上的应用引起了人们的高度关注。恶意利用伪造人脸会给个人和社会带来巨大的不良影响，因此，检测伪造人脸十分重要。

人脸伪造检测任务存在诸多挑战，特别是伪造算法的多样性，以及互联网上流传的人脸伪造图像往往质量低下、难以检测。

早期的研究试图使用手工制作的特征或简单地修改现有的神经网络。MesoNet设计了一个由两个初始模块和两个经典卷积层组成的浅层神经网络，但简单的浅层网络在逼真的人脸伪造数据上不能达到很好的精度。

一些方法利用了面部的生物学特征，如从互联网上获得的训练图像通常不包括闭着眼睛的照片会导致伪造人脸缺乏真正的眨眼。通过神经网络模型检测眨眼现象，从而检测伪造人脸。然而，这种检测可以通过在训练期间故意将闭着眼睛的图像结合起来来避免。

FaceX-ray用自己生成的数据去定位换脸的区域，但该方法在低质量伪造图像的检测上不能达到很好的精度和效果。

目前大多数人脸伪造检测算法都是仅利用图像域的信息将该任务转化为二分类任务来判别图像真伪，不能利用多种类型伪造算法的监督信息。伪造图像中存在的伪影等可检测元素在低质量图像中会被压缩而难以检测，而频域中的伪影在低质量图像中也仍然存在。

发明内容

本发明的目的在于针对目前针对人脸伪造检测的不足，提供一种基于图像域频域双流网络的人脸伪造检测方法。

该方法基于图像域频域双流网络的人脸伪造检测框架，同时利用不同伪造算法监督信息进行层级监督，可以在不同清晰度的图像中保证伪造检测的精度。

该方法解决了传统人脸伪造检测算法在低质量图像上检测效果差、利用图像域伪影检测不稳定等问题。

本发明解决其技术问题所采用的技术方案是：

一种基于图像域频域双流网络的人脸伪造检测方法，所述检测方法包括模型训练和模型推断两个阶段；

在模型训练阶段，利用具有高计算性能的服务器对网络模型进行训练，通过降低网络损失函数来优化网络参数，直至网络收敛，获得基于图像域频域双流网络模型；

在模型推断阶段，利用模型训练阶段获得的网络模型，判断新的图像是否为人脸伪造图像。

优选的，在模型训练阶段，具体包括以下步骤：

首先进行图像数据准备，具体是将训练集中的图像经过离散余弦变换(DCT)得到图像的频谱图像，并对处理前后的图像进行图像数据增强处理，同时，将对应的图像数据标签进行重新整合使得每一张图像均拥有两级标签；

然后进行网络模型训练，将经过数据增强处理的原始图像及频谱图像成对地送入图像域频域双流网络，采用层级监督的方法进行训练；计算损失函数得到梯度，然后进行反向传播得到训练好的网络模型。

优选的，关于离散余弦变换(DCT)，具体是使用类型ii 2D-DCT，输入I(N维)的二维DCT变换定义为：

D＝C^N·I·(C^N)^T，

其中：