[发明专利]一种基于人脸几何运动特征的真假视频检测方法

说明书

一种基于人脸几何运动特征的真假视频检测方法，通过用人脸特征关键点的几何运动来代替脸部的物理运动，然后将经过提取几何运动差异后的不同部位的运动频率特征放进LSTM中来对视频的真假做出判定。该方法是在以往只关注帧层面检测方法的基础上做出的改进，能够让网络模型关注到视频帧之间的相互关联性，更能捕捉视频内部的细节信息。可以有效增加视频真假检测方法的泛化性，提升检测的精度。

技术领域

本发明涉及视频真假检测技术领域，具体涉及一种基于人脸几何运动特征的真假视频检测方法。

背景技术

视频中的真假换脸方法是一种采用神经网络实现的换脸方法。该模型的总体结构是encoder-decoder模型。通过一个encoder和两个decoder的协同可以实现在任意的人脸上都可以复现出想要的人脸。

目前常见的视频真假检测方法可以分为两大类：伪影识别法和无定向法。这两类检测方法都是从视频所提取出来的帧的层面来进行检测，通过寻找单个帧内部之间的真假差异来进行检测。但是这种方法只关注片面信息，从而忽略了帧与帧之间的相互关联性和在视频中人脸的运动情况，所以普遍泛化性能偏差，难以应用普及。

发明内容

本发明为了克服以上技术的不足，提供了一种通过长短期记忆网络(LSTM)来学习幅度增强后的关键点的几何运动频率特征，最后做出真假预测的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于人脸几何运动特征的真假视频检测方法，包括如下步骤：

a)对视频切帧处理，将切帧得到的M个连续的帧图片切割成连续的人脸图片，每个人脸图片上得到定位人脸的68个关键点，生成人脸关键点的特征为为第i个视频帧的第t个关键点的信息，i∈{1,2,...,67,68}，为帧图片的红色通道的像素值，为帧图片的绿色通道的像素值，为帧图片的蓝色通道的像素值；

b)选取一张基准图像，获得训练集，将训练集中的图片输入到预训练后判别网络模型中；

c)判断经预训练后判别网络模型处理后各个图片的68个经过变换后的脸部朝向角度与基准图像的误差是否小于等于10°，如果小于等于10°则执行步骤e)，如果大于10°则执行步骤d)；

d)通过公式X_j＝f(s,theta,t,X_i)将第j个视频帧的关键点矩阵X_j与第i个视频帧的关键点矩阵X_i对齐操作，式中s为缩放幅度参数，theta为旋转参数，t为平移矩阵，通过公式计算得到第j个视频帧的关键点矩阵X_j与第i个视频帧的关键点矩阵X_i的欧氏距离当完成该图片与基准图片的对齐，其中d()为该角度对应的欧式距离；

e)根据关键点几何运动频率的相关性将几何运动特征F分为三类，人脸部轮廓和鼻子部位的关键点特征为F₁，眼睛和眉毛部位的关键点特征为F₂，嘴巴部位的关键点特征为F₃，

f)通过公式计算得到每个关键点的特征信息将整个视频的总帧数M均分为n部分，每一部分的帧数为N，对每一部分的N帧图片通过公式计算得到第j部分关键点特征信息的方差式中x_t为该部分第t帧的所有关键点信息，t∈{1,...,N}，为该部分关键点特征信息的平均值；

g)将关键点特征F₁表示为关键点特征F₂表示为关键点特征F₃表示为