[发明专利]基于多尺度卷积网络和ViT的虚假视频检测方法及系统

说明书

本发明提出一种基于多尺度卷积网络和ViT的虚假视频检测方法及系统，虚假视频检测的技术领域，首先对待检测数据集进行处理得到视频帧序列，识别并提取待检测视频数据集视频帧序列中图像的人脸区域，然后搭建基于多尺度卷积网络和ViT的虚假视频检测模型，基于该模型准确提取人脸特征，同时融合人脸区域的不同尺度信息，其中，多尺度特征提取模块通过学习低质量虚假视频中图像的边缘信息，得到整个人脸图片的多尺度特征，利用ViT代替作为分类的全局平均池化和全连接层，提高了低质量虚假视频的检测准确率和检测性能。

技术领域

本发明涉及虚假视频检测的技术领域，更具体地，涉及一种基于多尺度卷积网络和ViT的虚假视频检测方法及系统。

背景技术

Deepfake视频篡改技术是由深度网络模型生成假脸，再由生成的假脸替换真实视频中人脸的一种篡改技术。随着换脸技术的升级及相关应用的开源，换脸用途也从最初的娱乐逐渐演变成犯罪工具，对人们的名誉和社会的安定形成潜在的威胁，因此，针对Deepfake虚假视频的检测刻不容缓，具有极大的现实意义。

当前，大多数Deepfake虚假视频检测技术通常利用单流卷积神经网络来提取虚假视频帧的人脸特征，获取其高维人脸特征图，然后使用全局平均池化和全连接来实现分类，以区分真实视频及虚假视频。

现有技术中公开了一种视频虚假人脸检测方法及电子装置，方法中提到：首先对待检测视频进行人脸定位，得到人脸序列，然后对人脸序列进行预处理，得到指定大小和长度的视频采样帧序列，将视频采样帧序列输入训练好的三维残差学习卷积神经网络，判断待检测视频中的人脸是否为虚假人脸。其中，三维残差学习卷积神经网络包括一或多个卷积层及相应最大池化层、若干由一或多个三维残差学习模块组成的三维残差学习层、一平均池化层及一输出层；三维残差学习模块包括分别连接三维残差学习模块输入的第一支路、第二支路和对两条第一支路与第二支路输出结果相加的运算层。这种方式对高质量的视频检测具备很好的检测性能，但在检测被高度压缩的低质量视频时，检测准确率会降低。而且，低质量视频作为经过高度压缩的或经过多次压缩的视频，模糊了真实视频与虚假视频的边界，使得虚假视频检测变的更加艰难。

发明内容

为解决当前Deepfake虚假视频检测技术在对低质量视频进行检测时，检测准确率低、检测性能不足的问题，本发明提出一种基于多尺度卷积网络和ViT的虚假视频检测方法及系统，准确提取人脸特征，融合人脸区域的不同尺度信息，提高虚假视频检测技术对低质量虚假视频的检测准确率和检测性能。

为了达到上述技术效果，本发明的技术方案如下：

一种基于多尺度卷积网络和ViT的虚假视频检测方法，其特征在于，包括以下步骤：

S1.确定待检测视频数据集，将待检测视频数据集的视频解码为帧序列，对帧序列进行随机采样选取，得到帧序列S；

S2.识别帧序列S中的人脸区域并提取，然后预处理，得到特征提取区域；

S3.搭建基于多尺度卷积网络和ViT的虚假视频检测模型，包括预处理模块、多尺度特征提取模块、人脸高维语义信息提取模块及ViT模块；

S4.将特征提取区域的RGB图像输入预处理模块进行颜色特征学习，得到颜色特征f_p；

S5.通过多尺度特征提取模块提取出f_p的多尺度特征图f_p＇，并将多尺度特征图fp＇转变为高维多尺度特征图f₁；

S6.通过人脸高维语义信息提取模块将颜色特征fp转变为高维人脸语义特征f₂，将高维多尺度特征图f₁与高维人脸语义特征f₂融合为特征图

S7.利用ViT模块学习特征图的全局信息并作出预测，得到真实、虚假视频的分类输出结果。