[发明专利]一种基于多特征融合检测Deepfake视频方法

说明书

本发明公开了一种基于多特征融合检测Deepfake视频方法。该方法包括：对于待判决视频设定时间段内的多个视频帧，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量；对于该多个视频帧，计算表征帧内特征的帧内特征向量；将所述帧间特征向量和所述帧内特征向量进行串接，获得融合特征向量，并将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。本发明能够快速、准确地检测输入的视频文件是否经过了DeepFake等算法的改造，有助于对抗因滥用合成视频技术而造成的潜在危害。

技术领域

本发明涉及多媒体安全技术领域，更具体地，涉及一种基于多特征融合检测Deepfake视频方法。

背景技术

Deepfake是指利用深度学习技术替换一段视频或图片中的人脸部分的技术，该技术可以自动生成大量的替换过人脸的虚假视频。Deepfake图像检测技术基于其判别原理可以分为四种：1)、采用传统图像取证方法，在像素级别上构建模型来检测Deepfake，但是这类借鉴传统图像取证技术的检测模型可以在伪造图像上加噪声的方式绕过；2)通过修改CNN网络架构和损失函数等方式检测Deepfake，这种方式容易受到对抗样本的攻击；3)通过分析和提取视频中真伪图像自身的差异化特征，进而训练分类器进行检测；4)基于GAN指纹特征的检测方法，然而Deepfake生成模型可通过选用无指纹特征的GAN来绕过这类检测，且GAN指纹特征不具有持久性和通用性。

在现有技术中，对于deepfake视频的检测还存在很多挑战。以采用SIFT特征点来匹配相邻视频帧之间差异的方案为例(如[Milijan Dordevic,Deepfake Video Analysisusing SIFT Feature,10.1109/TELFOR48224.2019.8971206])，该SIFT匹配方案检测到的兴趣点主要是对比度突然变化的部分，例如图像纹理、颜色、以及边缘的快速变化。该方案采用高斯差分法以及正则化来筛选关键点，基于局部图像梯度方向，确保算法的方向不变性；采用直方图平均，确保光照不变性。该方案主要包括：提取Deepfake和真实视频中连续帧上的SIFT特征，并进行配对；在同一帧显示Deepfake和原始视频的帧匹配组数，并采用滑动平均滤波器对匹配结果进行滤波；计算出帧匹配百分比的平均值，标准差和中值，以及原始视频与Deepfake之间的均方差。该方案存在的缺陷是：在检测时，关键点主要集中在轮廓边缘、角点区域，而平滑区域关键点很少，特征提取不均匀、不充分；关键点提取和匹配耗时，实时性不高。随着Deepfake技术的发展，图像拼接的边缘更平滑，导致该方案将更加难以提取足量特征点对Deepfake视频进行检测。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于多特征融合检测Deepfake视频方法，其结合像素级特征和视频级特征，实现实时、准确地判决视频网站中视频的真伪。

本发明提供一种基于多特征融合检测Deepfake视频方法，包括以下步骤：

对于待判决视频设定时间段内的多个视频帧M，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量E；

对于该多个视频帧M，计算表征帧内特征的帧内特征向量Ω；

将所述帧间特征向量E和所述帧内特征向量Ω进行串接，获得融合特征向量[E，Ω]，将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。

在一个实施例中，根据以下步骤形成所述帧间特征向量E：

对于M帧中的每一帧，筛选视频中人脸的特征点，将第i个特征点表示为A_i，其坐标为(x_i，y_i)，1≤i≤n，n为特征点数目；

对每一帧，计算特征点两两之间的归一化欧氏距离，特征点A_i和A_j间的归一化欧氏距离定义为：