[发明专利]基于面部划分的人脸深度伪造检测方法及系统

权利要求书

1.一种基于面部划分的人脸深度伪造检测方法，其特征在于，包括：

步骤1、获取具有标签的人脸图像作为训练数据，该标签代表人脸图像是否属于人脸深度伪造图像，该训练数据经包含多个卷积层的全局人脸特征提取模型处理后，得到该人脸图像的全局特征；

步骤2、获取该全局人脸特征提取模型在处理该训练数据过程中产生的浅层卷积特征，并将该浅层卷积特征根据预设的面部划分方式，划分为多个图像区域，分别将该图像区域输入至局部人脸特征提取模型，得到该人脸图像的多个局部特征；

步骤3、通过注意力模型提取该多个局部特征间的关系特征，并将该关系特征与该全局特征拼接后输入至二分类模型，得到该训练数据的检测结果，根据该结果和该标签构建损失函数，以训练该全局人脸特征提取模型、局部人脸特征提取模型、注意力模型和该二分类模型，当损失函数收敛时，保存当前所有模型的参数和连接关系作为人脸深度伪造检测模型；

步骤4、通过该人脸深度伪造检测模型，判定待检测人脸图像是否属于人脸深度伪造图像；

其中该注意力模型提取该多个局部特征间的关系特征，具体包括：

将输入的每一个局部特征分别乘以不同的权重矩阵，得到q、k、v 三个向量，集合每个q向量和其余的每个k向量进行注意力权重的计算结果，得到自相关矩阵，通过自相关矩阵和每一个局部特征的v向量相乘，得到每一个局部特征的区域特征向量，通过集合每一个局部特征的特征向量，得到该关系特征。

2.如权利要求1所述的基于面部划分的人脸深度伪造检测方法，其特征在于，步骤2中该面部划分方式包括水平划分、垂直划分或网格划分。

3.如权利要求1所述的基于面部划分的人脸深度伪造检测方法，其特征在于，步骤3中该注意力模型为多头注意力模型。

4.一种基于面部划分的人脸深度伪造检测系统，其特征在于，包括：

模块1，用于获取具有标签的人脸图像作为训练数据，该标签代表人脸图像是否属于人脸深度伪造图像，该训练数据经包含多个卷积层的全局人脸特征提取模型处理后，得到该人脸图像的全局特征；

模块2，用于获取该全局人脸特征提取模型在处理该训练数据过程中产生的浅层卷积特征，并将该浅层卷积特征根据预设的面部划分方式，划分为多个图像区域，分别将该图像区域输入至局部人脸特征提取模型，得到该人脸图像的多个局部特征；

模块3，用于通过注意力模型提取该多个局部特征间的关系特征，并将该关系特征与该全局特征拼接后输入至二分类模型，得到该训练数据的检测结果，根据该结果和该标签构建损失函数，以训练该全局人脸特征提取模型、局部人脸特征提取模型、注意力模型和该二分类模型，当损失函数收敛时，保存当前所有模型的参数和连接关系作为人脸深度伪造检测模型；

模块4，用于通过该人脸深度伪造检测模型，判定待检测人脸图像是否属于人脸深度伪造图像；

其中，提取该多个局部特征间的关系特征，具体包括：

将输入的每一个局部特征分别乘以不同的权重矩阵，得到q、k、v 三个向量，集合每个q向量和其余的每个k向量进行注意力权重的计算结果，得到自相关矩阵，通过自相关矩阵和每一个局部特征的v向量相乘，得到每一个局部特征的区域特征向量，通过集合每一个局部特征的特征向量，得到该关系特征。

5.如权利要求4所述的基于面部划分的人脸深度伪造检测系统，其特征在于，模块2中该面部划分方式包括水平划分、垂直划分或网格划分。

6.如权利要求4所述的基于面部划分的人脸深度伪造检测系统，其特征在于，模块3中该注意力模型为多头注意力模型。