[发明专利]一种联合多尺度特征的深度伪造图像检测方法及系统

说明书

本发明公开了一种联合多尺度特征的深度伪造图像检测方法，具体来说，首先，基于反事实因果推理来扩充数据集，并生成反事实和事实样本，以防止模型受到伪相关特征的干扰，确保模型学习到无偏的特征表达。随后，构建了一个双流预测网络，该网络使用足够底层的和较高级的卷积特征来捕获不同类型的伪造痕迹。在每个流中利用基于特征金字塔的多尺度特征提取模块来丰富特征表示，每个流的末端分别设置了一个分类器。经多特征融合后，利用更深层的卷积模块，从之前学习到的组合特征中学习更高级的语义信息，然后使用分类器进行预测。最后，将设置在网络不同位置处的三个分类器的结果组合起来得到最终的预测结果。

技术领域

本发明属于图像处理技术领域，具体涉及一种联合多尺度特征的深度伪造图像检测方法及系统。

背景技术

以深度伪造(DeepFake)技术为代表的人脸伪造引起了社会的广泛关注。尽管近年来深度伪造检测已经取得了显著进展，但仍然缺乏能够暴露多种伪造痕迹的通用型假脸检测器。此外，由于输入视频的分辨率不同、人脸区域的占比不同、伪造痕迹的尺度也不同，使用通用处理流程和标准形式的CNN结构(堆叠几个连续的卷积层，后跟一个分类模块)会导致在提取关键判别特征时出现以下问题：

(1)特征遗漏。所使用的模型特别关注于具有相似分布的某种类型的伪造痕迹，而忽略了其他关键判别特征的重要性。

(2)特征冗余。提取的特征不仅包含从操作痕迹中学习到的强相关判别信息，还包含如图像内容等无关因素。

(3)特征偏置。所使用的模型依赖于特征和标签之间的关联而不是因果关系，从而导致特征和标签之间的伪相关关系(非因果关系)经常被学习和用于预测。一旦这种关系被打破，比如在一个新的场景下，模型将会面临失效的风险。

发明内容

为了解决上述问题，本发明提出了一种联合多尺度特征的深度伪造图像检测方法，能解决特征遗漏、冗余及偏置等问题，还能进一步提高检测精度和泛化能力。所述方法具体包括：

对输入视频进行数据预处理得到输入图像，并对输入图像进行基于反事实因果推理的数据增强，生成反事实和事实增强样本；

构建双流预测网络，所述双流预测网络包括浅层伪造特征提取及分类子网络和深层伪造特征提取及分类子网络，所述浅层伪造特征提取及分类子网络将所述反事实和事实增强样本依次输入第一卷积模块、全局平均池化层、第一多尺度特征提取模块得到特征图f_{mul_tex}，将所述特征图f_{mul_tex}喂入第一分类器，得到预测值S1；所述深层伪造特征提取及分类子网络将所述反事实和事实增强样本依次输入第一卷积模块、第二卷积模块、第三卷积模块、第二多尺度特征提取模块得到特征图f_{mul_sem}，将所述特征图f_{mul_sem}喂入第二个分类器，得到预测值S2；

进行多特征融合与分类，将特征图f_{mul_tex}和特征图f_{mul_sem}串联起来，得到特征表达f_total，将所述f_total依次通过第四卷积模块、第五卷积模块、第三分类器，得到预测值S3；

采用少数服从多数的原则，通过对预测值S1、S2、S3进行投票来决定输入图像是否真实。

进一步的，所述对输入图像进行基于反事实因果推理的数据增强，具体包括，生成的反事实样本为：

生成的事实样本为：

其中，i是具有Ω像素的输入图像，x(为因果相关区域，0表示非因果，1表示因果，表示因果区域中的填充图像，⊙表示逐元素点乘，表示非因果区域中的填充图像。