[发明专利]一种基于SSIM差异图的人脸伪造检测与定位方法

权利要求书

1.一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，所述方法包括：

将原始人脸与伪造人脸的结构相似度(SSIM)差异图作为篡改定位的标签图；

通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响；通过空洞卷积模块处理多尺度的篡改区域；通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成。

2.根据权利要求1所述一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，将原始人脸与伪造人脸的SSIM差异图作为篡改定位的标签图，实现步骤包括：

(2.1)使用人脸检测器提取原始视频中所有帧的人脸边界框坐标，并裁剪出原始人脸图像。将原始人脸图像篡改定位标签图的像素值设置为全零；

(2.2)根据步骤(2.1)得到的人脸边界框坐标，将其运用到原始视频对应的伪造视频，裁剪出伪造人脸图像。伪造人脸图像篡改定位标签图的像素值为伪造人脸图像和原始人脸图像的结构相似度差异值；

(2.3)将步骤(2.1)以及步骤(2.2)得到的人脸图像当作训练集，并使用篡改定位标签图进行端到端的监督训练。

3.根据权利要求1所述一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，通过具有残差注意力的相邻层聚合模块从低层到高层特征图中确定篡改区域，且其中的残差注意力能帮助网络更加关注篡改区域以减弱背景噪音的影响，实现步骤包括：

(3.1)将主干网络两个相邻层级的特征和输送到相邻层聚合模块并进行聚合；

(3.2)聚合后的特征图通过残差注意力学习后输出到解码器。

4.根据权利要求1所述一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，通过空洞卷积模块处理多尺度的篡改区域。所述空洞卷积模块首先通过加性融合Sobel流和主干网络的特征，然后通过四个并行的不同比例的空洞卷积对特征图进行处理，空洞卷积比例设置为{1,3,6,9}。

5.根据权利要求1所述一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，通过轻量级的辅助Sobel流缓解视频压缩导致的伪影污染问题，Sobel流由三组图像梯度增强模块组成。所述图像梯度增强模块包含依次设置的深度卷积层、Sobel滤波层、逐点卷积层以及连接深度卷积层和逐点卷积层的残差操作。

6.根据权利要求2所述一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，解码器利用相邻层聚合模块以及空洞卷积模块输出的特征集合自底向上的还原篡改区域。为降低解码器的参数量，在解码器中，特征图的降维全部由1×1的卷积层来完成，且仅使用双线性插值完成上采样。

7.根据权利要求2所述一种基于SSIM差异图的人脸伪造检测与定位方法，其特征在于，该方法对应的网络模型在训练中的损失函数包含两部分：交叉熵损失和篡改定位损失；其中，篡改定位损失为辅助预测篡改定位图的损失，篡改定位损失表示为：

其中，H＝{H_hi，H_mid，H_lo，H_DCM}表示由高、中、低层级以及空洞卷积模块输出特征图集合，D(·)表示解码器，S表示标签图。