[发明专利]一种基于人脸几何运动特征的真假视频检测方法

权利要求书

1.一种基于人脸几何运动特征的真假视频检测方法，其特征在于，包括如下步骤：

a)对视频切帧处理，将切帧得到的M个连续的帧图片切割成连续的人脸图片，每个人脸图片上得到定位人脸的68个关键点，生成人脸关键点的特征为为第i个视频帧的第t个关键点的信息，i∈{1,2,…,67,68}，为帧图片的红色通道的像素值，为帧图片的绿色通道的像素值，为帧图片的蓝色通道的像素值；

b)选取一张基准图像，获得训练集，将训练集中的图片输入到预训练后判别网络模型中；

c)判断经预训练后判别网络模型处理后各个图片的68个经过变换后的脸部朝向角度与基准图像的误差是否小于等于10°，如果小于等于10°则执行步骤e)，如果大于10°则执行步骤d)；

d)通过公式X_j＝f(s,theta,t,X_i)将第j个视频帧的关键点矩阵X_j与第i个视频帧的关键点矩阵X_i对齐操作，式中s为缩放幅度参数，theta为旋转参数，t为平移矩阵，通过公式计算得到第j个视频帧的关键点矩阵X_j与第i个视频帧的关键点矩阵X_i的欧氏距离当完成该图片与基准图片的对齐，其中d()为该角度对应的欧式距离；

e)根据关键点几何运动频率的相关性将几何运动特征F分为三类，人脸部轮廓和鼻子部位的关键点特征为F₁，眼睛和眉毛部位的关键点特征为F₂，嘴巴部位的关键点特征为F₃，

f)通过公式计算得到每个关键点的特征信息将整个视频的总帧数M均分为n部分，每一部分的帧数为N，对每一部分的N帧图片通过公式计算得到第j部分关键点特征信息的方差式中x_t为该部分第t帧的所有关键点信息，t∈{1,…,N}，为该部分关键点特征信息的平均值；

g)将关键点特征F₁表示为关键点特征F₂表示为关键点特征F₃表示为

h)将步骤g)中的关键点特征F₁、关键点特征F₂及关键点特征F₃分别放进三个长短期记忆网络中，每个长短期记忆网络连接有全连接层，将三个长短期记忆网络产生的预测输出值取平均值后经过Sigmoid函数得到预测结果，如果预测结果为1表示该视频是真的视频，如果预测结果为0表示该视频是假的视频。

2.根据权利要求1所述的基于人脸几何运动特征的真假视频检测方法，其特征在于：步骤a)中使用opencv-python包对视频切帧，利用dlib包将连续的帧图片切割成连续的人脸图片并得到每个人脸图片上的68个关键点。

3.根据权利要求1所述的基于人脸几何运动特征的真假视频检测方法，其特征在于：步骤b)中通过当前最大的人脸对齐数据集LS3D-W获得训练集。

4.根据权利要求1所述的基于人脸几何运动特征的真假视频检测方法，其特征在于：步骤b)中预训练后判别网络模型的步骤为：

b-1)建立一个Siamese网络，该Siamese网络一端输入基准图像，另一端输入训练集中的各个图片；

b-2)将基准图像依次输入到Conv1卷积层、Conv2卷积层、Conv3卷积层分别获得输出维度为64的图片的感知野特征表示将训练集中的图片依次输入到Conv1卷积层、Conv2卷积层、Conv3卷积层分别获得输出维度为64的图片的感知野特征表示Conv1卷积层的卷积核大小为1×1，Conv2卷积层的卷积核大小为3×3，Conv3卷积层的卷积核大小为5×5；

b-3)分别在Conv1卷积层、Conv2卷积层、Conv3卷积层后分别连接批归一化层和激活层；

b-4)在Conv1卷积层的激活层后面连接尺寸为2×2的最大池化层，在Conv2卷积层的激活层后面连接尺寸为2×2的最大池化层；

b-5)将基准图片Image₀的输入到经步骤b-4)改进的Siamese网络后得到将训练集中的图片的输入到经步骤b-4)改进的Siamese网络后得到

b-6)通过余弦值计算与之间的夹角θ，将夹角乘以夹角缩放系数。