[发明专利]基于多相关帧注意力机制的人脸伪造视频检测方法

权利要求书

1.一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，包括：

对于待检测视频，解码为帧序列，并提取出每一帧的脸部图像；

选择一帧作为目标帧，并在目标帧前后各选出N个参考帧，对于2N+1帧中的脸部图像进行特征提取，分别计算目标帧的图像特征与每一参考帧的图像特征之间的帧间注意力信息，对于目标帧前后的帧间注意力信息分别计算平均值，从而得到目标帧的帧前注意力信息和帧后注意力信息，再将目标帧的图像特征与目标帧的帧前注意力信息及帧后注意力信息融合；

基于融合结果进行预测，从而基于整个视频角度的预测结果判断待检测视频是否为人脸伪造视频；

其中，分别计算目标帧的图像特征与每一参考帧的图像特征之间的帧间注意力信息包括：分别计算每一参考帧中提取出的图像特征，与目标帧F_t中提取的图像特征V_t之间的相似性矩阵；每一参考帧利用其自身的图像特征与相应的相似性矩阵，计算出注意力图，进而得到帧间注意力信息。

2.根据权利要求1所述的一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，在目标帧F_t前后各选出N个参考帧分别记为{F_b1，F_b2，...，F_bN}与{F_a1，F_a2，...，F_aN}；

对2N+1帧中的脸部图像的进行特征提取，记为V_t、{V_b1，V_b2，...，V_bN}与{V_a1，V_a2，...，V_aN}。

3.根据权利要求2所述的一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，

相似性矩阵的计算公式为：

其中，V_mn表示一个参考帧中提取出的图像特征，m＝a，b，n＝1，2，...，N；W为权重参数矩阵；

计算注意力图：

Z_mn＝V_mnA_mn

每一注意力图经过卷积层并使用softmax归一化后，得到帧间注意力信息：

其中，各自为处理注意力图的卷积层的权重、偏置；K表示卷积层中的卷积核数目，i为通道索引。

4.根据权利要求1或2或3所述的一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，

目标帧的图像特征与前后各选出N个参考帧的图像特征之间的帧间注意力信息记为{I_b1，I_b2，...，I_bN}与{I_a1，I_a2，...，I_aN}；

计算帧间注意力信息的平均值，得到目标帧的帧前注意力信息I_b和帧后注意力信息I_a：

5.根据权利要求1所述的一种基于多相关帧注意力机制的人脸伪造视频检测方法，其特征在于，

将目标帧的图像特征V_t经过一层卷积层得到G_t，再与目标帧的帧前注意力信息I_b及帧后注意力信息I_a对应通道相乘并级联，得到融合结果I_t：

其中，各自为处理目标帧特征向量的卷积层的权重、偏置；K表示卷积层中的卷积核数目，i为通道索引。