[发明专利]Deepfake合成视频检测方法、系统及设备

权利要求书

1.一种Deepfake合成视频检测方法，其特征在于，包括：

划分数据集，对各个数据集的视频进行分帧，并提取各帧检测区域的RGB图像I；

利用双树复小波变换将RGB图像I分解为低频子带S_L和不同方向的高频子带集合S_H；

将低频子带S_L和高频子带集合S_H分别输入到频域特征提取网络，得到频域特征F_DT-CWT；

将低频子带S_L和高频子带集合S_H输入到基于能量调整的图像增强分支进行处理，得到空域特征F_RGB；

将频域特征F_DT-CWT和空域特征F_RGB进行特征拼接融合，获得单帧分类特征F_C；

将单帧分类特征F_C输入到预选训练的分类器网络模块实现Deepfake视频鉴别，输出判决类别。

2.根据权利要求1所述的Deepfake合成视频检测方法，其特征在于，利用双树复小波变换将RGB图像I分解为低频子带S_L和不同方向的高频子带集合S_H，包括：

双树复小波变换将RGB图像I在多个方向分解，产生指向{±15°,±45°,±75°}的6个不同方向的高频子带和1个低频子带。

3.根据权利要求1所述的Deepfake合成视频检测方法，其特征在于，频域特征提取网络包括频域特征提取分支网络和基于交叉注意力机制的频域特征融合网络；其中，

频域特征提取分支网络用于将输入的低频子带S_L和高频子带集合S_H进行提取到低频检测特征图F_L和高频检测特征图F_H；

基于交叉注意力机制的频域特征融合网络用于将低频检测特征图F_L和高频检测特征图F_H进行融合，得到频域特征F_DT-CWT。

4.根据权利要求3所述的Deepfake合成视频检测方法，其特征在于，频域特征提取分支网络由高频SF-Net网络和低频SF-Net网络构成，均采用一个卷积核大小为3x3的普通卷积和5个反向残差模块依次相连的结构，其中，针对高频SF-Net网络，选择第4个反残差模块的输出特征映射作为高频特征图，针对低频SF-Net网络，选择第5个反残差模块的输出特征映射作为低频特征图。

5.根据权利要求3或4所述的Deepfake合成视频检测方法，其特征在于，基于交叉注意力机制的频域特征融合网络通过交叉注意力模块将高频特征图和低频特征图经过自注意力模块获得的(0,1)开区间的注意力引导特征图，并将新生成的自注意力权重图重新组合成多通道的注意力引导特征图T，其组合方式如式所示：

式中，表示逐元素乘法，表示逐元素相加，M(HF)和M(LF)分别表示根据高频特征图HF和低频特征图LF产生的自注意力权重图。

6.根据权利要求1所述的Deepfake合成视频检测方法，其特征在于，将低频子带S_L和高频子带集合S_H输入到基于能量调整的图像增强分支进行处理，包括：低频削弱、高频增强、双树复小波逆变换、Gamma矫正和/或Xception网络特征提取。

7.根据权利要求1所述的Deepfake合成视频检测方法，其特征在于，分类器模块的训练过程，包括：

将训练集中的RGB人脸图像进行双树复小波变换，分别输入到频域特征提取网络和基于能量调整的图像增强分支以及分类器网络模块获得预测概率p；

利用预测概率p与给定的二分类标签计算交叉熵损失；

以最小化交叉熵损失为目标训练模型；

采用自适应Adam算法作为优化器进行模型训练。