[发明专利]人脸图像真伪的检测方法

说明书

本发明公开了一种人脸图像真伪的检测方法，包括：在视频帧中裁切人脸图像；对人脸图像进行编码得到潜编码，再根据潜编码对人脸进行粗糙重建；提取人脸图像中的外形几何细节并进行编码并将该编码与步骤2得到的潜编码进行结合生成位移图；在原始人脸图像和步骤3得到的位移图对比的不断逼近下优化编码器‑解码器；将人脸图像输入到优化后的编码器‑解码器中生成独特位移图，再将两者组合形成特征图，输入到残差神经网络中获得卷积后的特征图像；将卷积后的特征图像输入到transformer进行分割处理得到patch向量序列，然后在transformer中进行更进一步的处理和运算，最后得到人脸图像真假预测的概率值。本发明提高了神经网络模型在分辨deepfake人脸的准确性。

技术领域

本发明属于互联网的技术领域，具体涉及一种人脸图像真伪的检测方法。

背景技术

随着互联网的迅速普及，人工智能在现实生活中发挥着越来越重要的作用。深度合成技术作为人工智能内容合成技术的一种，引入了对抗生成网络、变分自动编码器等深度学习技术。这种技术，能够将源对象的人脸替换到目标对象的人脸上，并能使其随之作出视频中目标对象在做的表情。在国内外内容平台、社交平台上，深度合成内容呈现“量质齐升”的效果，不仅能够欺骗人眼，也为欺骗一些人脸核验机制，提供了可能性。这意味着，深度合成技术正在改变信息传播内容信任链的底层逻辑和复杂程度，风险隐患在迅速加大。一方面，“眼见为实”的定义发生改变。尽管公众对照片等静态信息易被篡改已有认知，但对视频、声音等动态信息仍持有较高信任度，深度合成技术再次瓦解了“眼见为实”的信任逻辑。二是短视频的广泛传播，使深度合成技术的滥用产生了较大范围的影响力和破坏力。

目前，深度伪造模型的构造主要基于GAN实现，由编码器(encoder)和解码器(decoder)构成：编码器用于提取人脸图像的潜在特征，解码器则用于重构人脸图像。为了实现换脸操作，模型需要两个编码器/解码器对(编码器A/解码器A,编码器B/解码器B)，分别基于已收集的源对象人脸和目标对象人脸的图像集进行训练，其中编码器A和编码器B具有相同的编码网络(即参数共享),编码器的统一性能够保证模型学习到两组图像面部结构之间的相似性(如五官特征)。待模型训练完成之后，通过将模型训练中源对象人脸和目标对象人脸的解码器互换,进而构建新的编码器/解码器对(编码器A/解码器B，编码器B/解码器A)，然后选取源对象人脸的一张图像作为源图像，在编码器A编码完成之后，基于解码器B进行解码，从而生成载有源对象面部、目标对象身体的深度伪造(换脸)图像。

为了应对深度合成技术带来的社会风险和挑战，使用传统的图片篡改技术，如复制粘贴检测、拼接检测、移除检测，无法很好地检测神经网络产生的伪影，因为这些方法往往假设篡改图像使用的技术是诸如这样的传统技术，故需要开发一种新的人脸图像真伪的检测方法，以补充神经网络在检测深度伪造人脸上的不足。

发明内容

本发明的目的在于针对现有技术的不足之处，提供一种人脸图像真伪的检测方法，该方法解决了Deepfake人脸伪造攻击的检测问题，有效提高了神经网络模型在分辨deepfake人脸的准确性，实现对基于Deepfake多媒体内容攻击的检测和防御。

为解决上述技术问题，本发明采用如下技术方案：

一种人脸图像真伪的检测方法，其特征在于，包括如下步骤：

步骤1，从视频中提取包含人脸的视频帧，并对视频帧中的人脸进行裁切；

步骤2，对裁切的人脸图像采用卷积神经网络进行编码得到潜编码，再根据潜编码对人脸进行粗糙3D重建；

步骤3，提取人脸图像中的外形几何细节，并使用卷积神经网络对提取的几何细节进行再次编码，将该编码与步骤2得到的潜编码进行结合生成位移图，从而得到精细重建的3D人脸图片；

步骤4，根据原始人脸图像和步骤3重建生成的位移图对比的不断逼近来优化编码器-解码器，以使编码器-解码器能够独立地对输入的人脸图像生成独特位移图，将其作为辨别人脸深度伪造的鉴别特征；