[发明专利]基于多相关帧注意力机制的人脸伪造视频检测方法

说明书

本发明公开了一种基于多相关帧注意力机制的人脸伪造视频检测方法，对一个视频，采用多流结构，多帧作为输入。设计一种帧间注意力机制，计算各帧特征流之间的动态关联信息，与目标帧的帧内静态特征与帧间的动态特征融合，作为预测的依据，从视频整体角度判断是否存在人脸篡改。能够提升对伪造视频的检测精度，同时对画质下降、新的篡改方式具备鲁棒性。

技术领域

本发明涉及伪造视频检测技术领域，尤其涉及一种基于多相关帧注意力机制的人脸伪造视频检测方法。

背景技术

随着深度学习尤其是GAN(生成式对抗网络)等技术的发展，最近产生了许多视频人脸篡改的方法及程序，这些程序可以将视频中原有人物的脸部替换为其他人的脸部，或对人物的表情进行篡改，同时保持视频的视觉真实性。这类程序操作简单，制作的视频效果逼真，一般人难以分辨，如果被恶意使用，会产生法律和道德的不良后果，因此，当前迫切需要有效的伪造视频检测方法。

现有针对人脸的伪造视频检测技术主要分为两类：(1)基于视频中单帧图像的方法，但是，该方法不考虑视频的时域信息，将视频的分类问题转化为图像的分类问题，将大量真实视频与伪造视频解成帧图像，作为训练数据集，设计各种网络结构对真假图像进行训练，得到二分类器，待检测视频抽取若干帧，分别给出预测结果。(2)基于帧序列的方法，该方法中，将视频若干帧送入网络，使用RNN、LSTM等手段对各帧特征进行融合，给出二分类结果。上述现有方法取得了一些基本效果，但存在一些问题：方法(1)在模型训练时，精度提升很快，达到很高的水平，但在测试时，效果大幅下降。方法(2)当视频画质变差时，检测精度变差；尤其是伪造视频在互联网上传播的过程中，会多次转发并压缩，画质降低，篡改痕迹会变得模糊，进一步增加了检测难度。

发明内容

本发明的目的是提供一种基于多相关帧注意力机制的人脸伪造视频检测方法，能够提升对伪造视频的检测精度，同时对被检测视频画质下降、或使用新的篡改方式具备鲁棒性

本发明的目的是通过以下技术方案实现的：

一种基于多相关帧注意力机制的人脸伪造视频检测方法，包括：

对于待检测视频，解码为帧序列，并提取出每一帧的脸部图像；

选择一帧作为目标帧，并在目标帧前后各选出N个参考帧，对于2N+1帧中的脸部图像进行特征提取，分别计算目标帧的图像特征与每一参考帧的图像特征之间的帧间注意力信息，对于目标帧前后的帧间注意力信息分别计算平均值，从而得到目标帧的帧前注意力信息和帧后注意力信息，再将目标帧的图像特征与目标帧的帧前注意力信息及帧后注意力信息融合；

基于融合结果进行预测，从而基于整个视频角度的预测结果判断待检测视频是否为人脸伪造视频。

由上述本发明提供的技术方案可以看出，对一个视频，采用多流结构，多帧作为输入。设计一种帧间注意力机制，计算各帧特征流之间的动态关联信息，与目标帧的帧内静态特征融合，作为预测的依据，从视频整体角度判断是否存在人脸篡改。能够提升对伪造视频的检测精度，同时对被检测视频画质下降、或使用新的篡改方式具备鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于多相关帧注意力机制的人脸伪造视频检测方法的整体流程示意图；

图2为本发明实施例提供的测试阶段可变帧数的相关帧融合工作流程图；

图3为本发明实施例提供的帧间注意力机制的原理图；

图4为本发明实施例提供的预测模块网络结构图；