[发明专利]一种基于多尺度特征解耦的深度伪造视频检测方法和装置

权利要求书

1.一种基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，包括以下步骤：

构建多尺度特征解耦网络，包括含多个尺度的特征提取单元的特征提取模块，通过特征提取单元对人脸图像分别从颜色域和频域提取不同尺度的颜色域特征和频域特征，并融合颜色域特征和频域特征得到图像特征，每个特征提取单元连接一个解耦模块，解耦模块包括自注意力单元、第一映射单元、第二映射单元、分类器、类判别器、域判别器，图像特征经过自注意力单元计算互补的两个自注意力图，该两个自注意力图分别与图像特征相乘以获得解耦的逼真自然特征和伪造痕迹特征，伪造痕迹特征经过第一映射单元映射后输入分类器进行伪造检测，逼真自然特征经过第二映射单元映射后分别输入至类判别器和域判别器进行特征真伪的判别和特征域的归属判断；

为特征提取模块和类判别器构建第一对抗损失以促使伪造痕迹特征解耦正确，为特征提取模块和域判别器构建第二对抗损失以促使解耦得到的特征不偏向于特定伪造方法，为特征提取模块和分类器构建分类损失以促使学习到正确的分类，利用人脸图像样本和构建的损失对多尺度特征解耦网络进行参数优化，参数优化结束后，提取特征提取模块和每个解耦模块中的自注意力单元、第一映射单元以及分类器作为伪造检测模型；

利用伪造检测模型进行深度伪造视频检测。

2.根据权利要求1所述的基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，每个特征提取单元包含两个尺度相同的特征提取分支和融合操作，通过两个特征提取分支提取颜色域特征和频域特征，通过融合操作融合颜色域特征和频域特征得到图像特征，其中，特征提取分支采用卷积神经网络，融合操作采用卷积操作。

3.根据权利要求2所述的基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，所述特征提取分支采用InceptionResNet网络。

4.根据权利要求1所述的基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，所述自注意力单元中，采用自注意力机制对图像特征进行计算以得到自自注意力图，作为逼真自然特征的自注意力图A_r，根据互补关系，计算伪造痕迹特征的自注意力图A_f＝1-A_r，将图像特征分别与A_r、A_f相乘，得到解耦的逼真自然特征和伪造痕迹特征。

5.根据权利要求1所述的基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，所述第一映射单元和第二映射单元均采用卷积神经网络，所述卷积神经网络包括下采样层、卷积层以及线性层，经过下采样层、卷积层以及线性层将输入的特征转换为特征向量。

6.根据权利要求1所述的基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，所述第一对抗损失包括希望类判别器能够区分真实人脸特征和伪造人脸解耦出的逼真自然特征的类判别损失和希望伪造人脸图像中解耦出来的逼真自然特征接近真实人脸特征从而让类判别器无法区分的生成损失其中：

其中，i表示图像特征的索引，表示逼真自然特征经过第二映射单元映射得到的向量，y表示人脸真实特征标签，表示类判别器的预测值，表示批量内求平均；

在训练时，通过第一对抗损失对特征提取模块和类判别器进行交替训练。

7.根据权利要求1所述的基于多尺度特征解耦的深度伪造视频检测方法，其特征在于，所述第二对抗损失包括希望能够区分不同伪造方法产生人脸解耦出来的逼真自然特征的域判别损失和生成损失

其中，i表示图像特征的索引，表示逼真自然的特征经过第二映射单元映射得到的向量，y_k表示域标签，k表示域类别，表示域判别器的预测值，表示批量内求平均；

在训练时，通过在域判别器前加入梯度反转层来使得域判别损失在反向传播到特征提取模块时梯度值反转，从而计算得到使域判别器无法区分出伪造类别的生成损失并依据生成损失来优化域判别器和特征提取模块。