[发明专利]一种基于多特征融合检测Deepfake视频方法

权利要求书

1.一种基于多特征融合检测Deepfake视频方法，包括以下步骤：

对于待判决视频设定时间段内的多个视频帧M，计算相邻两帧之间的相关度值，并根据所计算的相关度值形成帧间特征向量E；

对于该多个视频帧M，计算表征帧内特征的帧内特征向量Ω；

将所述帧间特征向量E和所述帧内特征向量Ω进行串接，获得融合特征向量[E，Ω]，将该融合特征向量输入至预训练的分类器，获得待判决视频是否属于虚假视频的检测结果。

2.根据权利要求1所述的方法，其中，根据以下步骤形成所述帧间特征向量E：

对于M帧中的每一帧，筛选视频中人脸的特征点，将第i个特征点表示为A_i，其坐标为(x_i，y_i)，1≤i≤n，n为特征点数目；

对每一帧，计算特征点两两之间的归一化欧氏距离，特征点A_i和A_j间的归一化欧氏距离定义为：

将特征点两两之间的归一化欧氏距离构建为n*n的矩阵，并仅保留矩阵上三角位置的个元素，展开排列成维的向量X，作为一帧的向量；

计算相邻两帧向量X_k和X_k+1之间的相关度值，获得k-1个相关度值，其中X_k和X_k+1分别表示第k帧和k+1帧的向量，1≤k≤M-1；

将k-1个相关度值排列形成k-1维向量，作为帧间特征向量E。

3.根据权利要求2所述的方法，其中，所述相邻两帧向量X_k和X_k+1之间的相关度采用方差、均方差、协方差、欧氏距离或皮尔逊相关度来表征。

4.根据权利要求2所述的方法，其中，所述相邻两帧向量X_k和X_k+1之间的相关度为皮尔逊相关度，表示为：

其中表示向量X_k中元素的均值，表示向量X_k中元素的标准差，1≤k≤M-1。

5.根据权利要求1所述的方法，其中，所述计算表征帧内特征的帧内特征向量Ω包括：

对M帧进行均匀下采样，得到F帧；

对F帧中的每一帧，提取面部图像并计算残差图像，将提取到的面部图像表示为I，其坐标(u，v)处的像素值为I_u，v，则残差图像D在坐标(u，v)处的值定义为：D_u，v＝I_u，v-I_u+1，v；

计算每帧残差图像D的局部邻域的中值，表示为median{D_u，v，D_u+1，v，D_u，v+1}，进而形成残差中值矩阵V；

对每一帧的矩阵V，进行W*W邻域的线性回归，并将得到的线性回归系数向量ω作为该帧的帧内特征向量；

将所有F帧的帧内特征向量进行串接，得到Ω＝[ω₁，ω₂，...，ω_F]，作为视频的帧内特征向量。

6.根据权利要求1所述的方法，其中，所述计算表征帧内特征的帧内特征向量Ω包括：

对M帧中的每一帧，提取面部图像并计算残差图像，将提取到的面部图像表示为I，其坐标(u，v)处的像素值为I_u，v，则残差图像D在坐标(u，v)处的值定义为：D_u，v＝I_u，v-I_u+1，v；

计算每帧残差图像D的局部邻域的中值，表示为median{D_u，v，D_u+1，v，D_u，v+1}，进而形成残差中值矩阵V；

对每一帧的矩阵V，进行W*W邻域的线性回归，并将得到的线性回归系数向量ω作为该帧的帧内特征向量；

将所有M帧的帧内特征向量进行串接，得到Ω＝[ω₁，ω₂，...，ω_M]，作为视频的帧内特征向量。