[发明专利]人脸图像真伪的检测方法

权利要求书

1.一种人脸图像真伪的检测方法，其特征在于，包括如下步骤：

步骤1，从视频中提取包含人脸的视频帧，并对视频帧中的人脸进行裁切；

步骤2，对裁切的人脸图像采用卷积神经网络进行编码得到潜编码，再根据潜编码对人脸进行粗糙3D重建；

步骤3，提取人脸图像中的外形几何细节，并使用卷积神经网络对提取的几何细节进行再次编码，将该编码与步骤2得到的潜编码进行结合生成位移图，从而得到精细重建的3D人脸图片；

步骤4，在原始人脸图像和步骤3重建生成的位移图对比的不断逼近下优化编码器-解码器，以使编码器-解码器能够独立地对输入的人脸图像生成独特位移图，将其作为辨别人脸深度伪造的鉴别特征；

步骤5，将人脸图像输入到步骤4优化后的编码器-解码器中生成独特位移图，再将独特位移图与人脸图像组合形成特征图，输入到残差神经网络中获得卷积后的特征图像；

步骤6，将步骤5得到的卷积后的特征图像输入到transformer中进行分割处理，从而得到patch-embedding向量序列，再在transformer中对patch-embedding向量序列进行更进一步的处理和运算，最后输出为人脸图像真假预测的概率值。

2.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤1中裁切的方法为：获取视频，对视频进行处理，提取出一帧帧的视频帧，运用基于cuda的face_recognition函数，定位视频帧中人脸的坐标位置，通过缩放裁切出人脸图像。

3.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤2中对人脸进行粗糙3D重建的方法为：

构建卷积神经网络ResNet50，并将步骤1裁切的人脸图像输入卷积神经网络ResNet50中，输出对应的向量并进行编码从而获得一段潜编码，再使用BFM头部纹理模型、FLAME头部外形模型、Spherical Harmonics光照模型对潜编码进行运用，分别得到UV人头纹理图、头部外形网格和场景光照，最后通过可差分渲染得到人脸的粗糙3D重建。

4.根据权利要求3所述的人脸图像真伪的检测方法，其特征在于，步骤2中的潜编码包括人脸重建过程中的相机位置、光照情况、人面部的皮肤纹理、人脸的基本外形、人脸外形的位置和人脸外形的表情。

5.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤4中采用反向传播法不断优化生成位移图的编码器-解码器。

6.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤5具体包括如下子步骤：

步骤5.1，将人脸图片输入到步骤4优化后的编码器-解码器中生成独特位移图，再使用concatenate操作，将独特位移图与人脸图像拼接在一起，让两者在通道层面形成堆叠得到组合而成的特征图；

步骤5.2，构建残差神经网络，采用残差神经网络对组合而成的特征图进行卷积运算处理，将运算得到的特征向量作为提取出的抽象特征细节，从而得到卷积后的特征图像。

7.根据权利要求1所述的人脸图像真伪的检测方法，其特征在于，步骤6具体包括如下子步骤：

步骤6.1，将步骤5得到的卷积后的特征图像输入到transformer进行分割处理，Transformer将输入的特征图像进行patch-embedding分割，特征图像被分割成n个向量从而得到n个patch-embedding向量序列；

步骤6.2，使用N个transformer模块的网络结构对每个batch的特征图像的patch-embedding向量序列进行处理，获得每个模块的处理结果；

步骤6.3，按照步骤6.2中的方法进行前一个模块的运算后，结果输入到下一个同类模块中进行同样的运算，如此连续运算N次之后，输出高维特征向量，将输出的高维特征向量输入到一个全连接层中用以调整向量的维度，最后输出为人脸图像真伪预测的概率值。