[发明专利]Deepfake合成视频检测方法、系统及设备

说明书

本发明涉及一种Deepfake合成视频检测方法、系统、设备及介质，包括：划分数据集进行分帧，并提取各帧检测区域的RGB图像I；利用双树复小波变换将RGB图像I分解为低频子带S_L和不同方向的高频子带集合S_H；将低频子带S_L和高频子带集合S_H分别输入到频域特征提取网络，得到频域特征F_DT‑CWT；将低频子带S_L和高频子带集合S_H输入到基于能量调整的图像增强分支进行处理，得到空域特征F_RGB；将频域特征F_DT‑CWT和空域特征F_RGB进行特征拼接融合，获得单帧分类特征F_C；将单帧分类特征F_C输入到预选训练的分类器网络模块实现Deepfake视频鉴别，输出判决类别。

技术领域

本发明是关于一种基于双树复小波变换(DT-CWT)的Deepfake合成视频检测方法、系统、设备及介质，涉及Deepfake合成视频篡改检测技术领域。

背景技术

近年来，得益于深度生成模型的快速发展，以Deepfake为代表的视频深度伪造合成技术在互联网上快速流行。随着深度学习方面众多开源技术的出现，视频合成的技术门槛也越来越低，一些不法分子能够未经许可轻易合成特定人物的假视频并恶意使用，因此针对Deepfake合成视频的检测至关重要。

现有Deepfake合成视频检测算法主要通过神经网络实现，此类检测方法在库内的检测准确率通常可高达99％以上，然而在跨库测试时性能出现明显下降，存在泛化性能不足的问题。

为了提高算法的泛化性能，现有检测技术公开有利用DCT提取频域信息并分析局部频率统计特性用于Deepfake合成视频伪造检测，在压缩视频上实现了较好的检测结果，但是在跨库检测时仍然出现较大下降。现有检测技术还公开了基于RGB图像和高频噪声的双流网络进行Deepfake合成视频的检测，通过两个模态之间的信息交互促进特征学习，但是噪声特征容易受到人脸数据来源和人脸伪造方法的影响，导致不同数据库的噪声特性有所差别，因此算法的泛化能力仍有待提高。

发明内容

针对上述问题，本发明的目的是提供一种能够有助于提高检测性能，增强算法鲁棒性的Deepfake合成视频检测方法、系统、设备及介质。

为实现上述目的，本发明采取以下技术方案：

第一方面，本发明提供一种Deepfake合成视频检测方法，包括：

划分数据集，对各个数据集的视频进行分帧，并提取各帧检测区域的RGB图像I；

利用双树复小波变换将RGB图像I分解为低频子带S_L和不同方向的高频子带集合S_H；

将低频子带S_L和高频子带集合S_H分别输入到频域特征提取网络，得到频域特征F_DT-CWT；

将低频子带S_L和高频子带集合S_H输入到基于能量调整的图像增强分支进行处理，得到空域特征F_RGB；

将频域特征F_DT-CWT和空域特征F_RGB进行特征拼接融合，获得单帧分类特征F_C；

将单帧分类特征F_C输入到预选训练的分类器网络模块实现Deepfake视频鉴别，输出判决类别。

所述的Deepfake合成视频检测方法，进一步地，利用双树复小波变换将RGB图像I分解为低频子带S_L和不同方向的高频子带集合S_H，包括：