[发明专利]一种基于transformer的假视频检测方法

说明书

一种基于transformer的假视频检测方法，通过对一个视频连续帧的脸图像利用空间视觉transformer模型提取全局空间特征，避免了传统检测方法仅提取局部特征而导致泛化性能差，由于假视频通常在时间序列上具有不一致性，所以进一步通过时间视觉transformer模型捕获全局时间特征，从而使空间特征与时间特征结合来提高检测的准确性，适用于各种改进生成算法生成的deepfake检测,检测到的deepfake的准确度明显优于其他方法。

技术领域

本发明涉及Deepfake检测方法技术领域，具体涉及一种基于transformer的假视频检测方法。

背景技术

Deepfake是利用基于深度学习的技术Autoencoder、GAN等深度学习算法将源视频中的人脸换成目标视频人脸。到目前为止，已经有大量deepfake视频在网上流传，这些视频通常用于损害名人名誉，引导舆论，极大威胁社会稳定。目前常用的Deepfake检测方法有迁移学习，注意力机制，以上检测方法是基于有明显造假视觉伪影的假视频设计的，并且只在具有相同操纵算法的内部数据集上检测性能较高，方法泛化性差。利用注意力机制的检测方法可以捕获局部特征间的关系，但没有明显考虑图像不同像素之间的全局关系，因此难以应用普及。

现存的Deepfake视频通过改进的生成算法合成的假视频质量越来越逼真，并通过添加噪声，形变等使其更接近真实世界的Deepfake视频分布。传统的Deepfake检测算法不适用于检测改进的生成技术合成的假视频，泛化性较差。因此，Deepfake检测面临新挑战并需进一步改善。

发明内容

本发明为了克服以上技术的不足，提供了一种首先对一个视频帧的脸图像全局空间信息学习提取空间特征，然后对每帧脸图像空间特征的全局时间信息学习提取时间特征，从而将时间和空间特征结合进行检测Deepfake视频的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于transformer的假视频检测方法，包括如下步骤：

a)利用读视频算法对K个视频中的每个视频提取连续的视频帧，利用脸识别算法提取每个视频的连续的视频帧中的人脸图像；

b)对人脸图像进行预处理，利用特征提取模块得到人脸的局部特征；

c)将特征提取模块提取的人脸的局部特征输入空间视觉transformer模型中，得到该视频帧的人脸图像的全局空间特征；

d)将步骤c)得到的人脸图像的全局空间特征输入时间视觉transformer模型中，得到该视频帧的人脸的全局时间空间特征；

e)将步骤d)得到的人脸的全局时间空间特征输入分类器经过softmax进行二分类真假检测。

进一步的，步骤a)中利用python中的读视频算法VideoReader类对视频提取，得到连续的t个视频帧，对提取的视频帧利用人脸识别算法dlib库中的get_frontal_face_detector函数提取脸图像，将得到的脸放入该视频文件夹下，在该视频文件夹下得到连续帧的t张人脸图像。

进一步的，步骤a)中得到的连续帧的t张人脸图像的宽高分别调整为224、224，利用均值为[0.4718,0.3467,0.3154]，方差为[0.1656,0.1432,0.1364]对人脸图像进行归一化，将归一化后的连续帧的t张人脸图像封装为[b,t,c,h,w]的张量x_i∈R^{b×t×c×h×w}，R为向量空间，其中视频标签为[b,0/1]，x_i为第i个视频批次，i∈{1,…,K/b}，b为每批次视频的个数，c为每张人脸图像通道数，h为每张人脸图像的高，w为每张人脸图像的宽，0表示假视频，1表示真视频。

进一步的，步骤b)包括如下步骤：