[发明专利]一种基于多尺度特征解耦的深度伪造视频检测方法和装置

说明书

本发明公开了一种基于多尺度特征解耦的深度伪造视频检测方法和装置，首先通过预训练的CNN和SRM卷积方式获取伪造人脸的颜色域和频域特征，然后通过自注意力模块将特征解耦为逼真自然的特征和伪造痕迹的特征两部分。在逼真自然的特征分支中设立真伪判别器判断特征的真伪类别，同时设立域判别器判断特征来源于哪种伪造技术。利用判别器与特征解耦网络的对抗来促进网络能更准确地解耦出包含伪造痕迹的特征。在伪造痕迹的特征分支中利用分类损失让网络学习到真实人脸和伪造人脸的差别。最后结合二者通过端到端的方式训练模型，从而实现准确泛化性强的深度伪造视频检测，提高了深度伪造视频检测方法的通用性的准确性。

技术领域

本发明属于深度伪造视频检测技术领域，尤其涉及一种基于多尺度特征解耦的深度伪造视频检测方法和装置。

背景技术

随着神经网络技术的发展，深度伪造方法也随之进步，能够以多样的手段生成逼真的人脸并对视频内人物进行替换。恶意攻击者在社交媒体上广泛传播利用深度伪造人脸生成的虚假视频，将会对社会舆论、媒体公信力、名人形象造成不可估量的危害。为了对抗这类攻击手段，与之相对的深度伪造视频检测技术成为了正在成为一种研究趋势。

主流的深度伪造视频检测技术通常利用成熟的人脸识别和追踪技术对视频进行帧级别的拆分后获取到一系列待检测人脸。将待检测人脸输入特征提取网络，发掘其中的伪造痕迹，最后对人脸特征进行真伪分类，例如专利文献CN114693607A公开了一种基于多域块特征标志点配准的篡改视频检测方法及系统，再例如CN114743148A公开了一种多尺度特征融合篡改视频检测方法、系统、介质和设备。目前的方法能够在单数据集内取得优良的准确率，但由于伪造技术的种类多样而训练集内的伪造技术种类又有限，这类方法提取到的伪造痕迹泛化性不佳，容易产生对特定伪造痕迹的倾向性，在跨数据集测试面对未知伪造方法产生的伪造人脸时检测表现有着明显的不足。

可以预见，深度伪造技术会朝着多样与逼真的方向不断进步，真实情况下的深度伪造视频将会混合不同类型的伪造手段，逼真程度也会使得无论肉眼还是机器都更难以辨别真假。现有的深度伪造视频检测技术面临这样的压力和挑战，难以提供令人满意的准确检测结果，急需提高技术的通用性和泛化性。

发明内容

鉴于上述，本发明的目的是提供一种基于多尺度特征解耦的深度伪造视频检测方法和装置，在多尺度上将伪造痕迹特征解耦出来，并基于伪造痕迹特征实现深度伪造检测，提升检测效果。

为实现上述发明目的，实施例提供的一种基于多尺度特征解耦的深度伪造视频检测方法，包括以下步骤：

构建多尺度特征解耦网络，包括含多个尺度的特征提取单元的特征提取模块，通过特征提取单元对人脸图像分别从颜色域和频域提取不同尺度的颜色域特征和频域特征，并融合颜色域特征和频域特征得到图像特征，每个特征提取单元连接一个解耦模块，解耦模块包括自注意力单元、第一映射单元、第二映射单元、分类器、类判别器、域判别器，图像特征经过自注意力单元计算互补的两个自注意力图，该两个自注意力图分别与图像特征相乘以获得解耦的逼真自然特征和伪造痕迹特征，伪造痕迹特征经过第一映射单元映射后输入分类器进行伪造检测，逼真自然特征经过第二映射单元映射后分别输入至类判别器和域判别器进行特征真伪的判别和特征域的归属判断；

为特征提取模块和类判别器构建第一对抗损失以促使伪造痕迹特征解耦正确，为特征提取模块和域判别器构建第二对抗损失以促使解耦得到的特征不偏向于特定伪造方法，为特征提取模块和分类器构建分类损失以促使学习到正确的分类，利用人脸图像样本和构建的损失对多尺度特征解耦网络进行参数优化，参数优化结束后，提取特征提取模块和每个解耦模块中的自注意力单元、第一映射单元以及分类器作为伪造检测模型；

利用伪造检测模型进行深度伪造视频检测。

在一个实施例中，每个特征提取单元包含两个尺度相同的特征提取分支和融合操作，通过两个特征提取分支提取颜色域特征和频域特征，通过融合操作融合颜色域特征和频域特征得到图像特征，其中，特征提取分支采用卷积神经网络，融合操作采用卷积操作。