[发明专利]一种基于固有特征挖掘的AI伪造人脸检测方法

权利要求书

1.一种基于固有特征挖掘的AI伪造人脸检测方法，其特征在于，包括：

对待取证的人脸图像和视频分别从相机成像角度和制造AI伪造视频不可缺少的步骤两个方面进行固有痕迹挖掘；

通过RGB通道残差流对从相机成像角度挖掘的固有痕迹进行特征提取，得到RGB通道残差流特征，通过频谱流对从制造AI伪造视频不可缺少的步骤挖掘的固有痕迹进行特征提取，得到频谱流特征；

使用基于注意力机制的特征融合模块自适应地加权融合所述RGB通道残差流特征和频谱流特征，得到所述待取证的人脸图像和视频的固有特征；

根据不同的AI伪造技术采用对齐模块消除所述待取证的人脸图像和视频的固有特征的分布偏差，得到所述待取证的人脸图像和视频的有效特征；

将所述待取证的人脸图像和视频的有效特征输入到分类器中，所述分类器输出所述待取证的人脸图像和视频是否为AI伪造的检测结果；

所述的对待取证的人脸图像和视频分别从相机成像角度和制造AI伪造视频不可缺少的步骤两个方面进行固有痕迹挖掘，包括：

对待取证的人脸图像和视频从相机成像角度进行固有痕迹挖掘，提取待取证的人脸图像和视频的RGB通道残差图像，分析RGB通道残差图像中包含的高频成分的数量，以及不同颜色通道的高频分量是否相关，得到待取证的人脸图像和视频的RGB通道残差固有痕迹；

对待取证的人脸图像和视频从制造AI伪造视频不可缺少的步骤方面进行固有痕迹挖掘，提取待取证的人脸图像和视频的频谱图像，检测频谱图像中是否存在重复的方格状伪影，得到待取证的人脸图像和视频的频谱固有痕迹；

所述的通过RGB通道残差流对从相机成像角度挖掘的固有痕迹进行特征提取，得到RGB通道残差流特征，通过频谱流对从制造AI伪造视频不可缺少的步骤挖掘的固有痕迹进行特征提取，得到频谱流特征，包括：

构建用于深度特征提取及融合的双支流网络，该双支流网络包括RGB通道残差流网络和频谱流网络，将所述待取证的人脸图像和视频的RGB通道残差固有痕迹输入到所述RGB通道残差流网络中，将所述待取证的人脸图像和视频的频谱固有痕迹输入到所述频谱流网络中，采用相同的基于八度卷积的ResNet-34分别从所述RGB通道残差流网络和所述频谱流网络中学习出RGB通道残差流特征和频谱流特征；

所述的使用基于注意力机制的特征融合模块自适应地加权融合所述RGB通道残差流特征和频谱流特征，得到所述待取证的人脸图像和视频的固有特征，包括：

构建基于注意力机制的特征融合模块，该基于注意力机制的特征融合模块包括一个具有和V_CDI和V_SI相同维度的内核q，通过滤波器生成向量D_CDI和D_SI，向量D_CDI表示V_CDI特征的重要性，向量D_SI表示V_SI特征的重要性，表示为：

D_CDI＝q^TV_CDI

D_SI＝q^TV_SI (1)

其中T为注意力机制中的矩阵转置操作；

将D_CDI给softmax函数，通过softmax函数获得D_CDI的权重W_CDI，将D_SI传递给softmax函数，通过softmax函数获得D_SI的权重W_SI；

所述使用基于注意力机制的特征融合模块的自适应地加权融合操作表示如下：

其中，V_CDI和V_SI分别为经过基于八度卷积的ResNet-34神经网络提取到的RGB通道残差流特征和频谱流特征，W_CDI和W_SI分别为经过注意力机制两路特征得到的自适应权重，为是元素乘法，为级联操作，V_F为待取证的人脸图像和视频的固有特征；

所述的根据不同的AI伪造技术采用对齐模块消除所述待取证的人脸图像和视频的固有特征的分布偏差，得到所述待取证的人脸图像和视频的有效特征，包括：

根据不同的AI伪造技术将待取证的人脸图像和视频划分为不同的域，表示训练用的具有K个域的人脸样本为：

其中域d∈{1，...，K}，n_d是d域样本的数量，相应的标签表示为：

其中有伪造和真实两个类别；

挖掘出所述待取证的人脸图像和视频的固有特征后，第m层全连层的输入特征描述为：

利用最大均值差异MMD距离来表示不同AI伪造技术的距离，通过对齐模块将不同伪造技术特征之间的MMD距离d()缩小，对齐模块的损失函数为：

其中，d()为不同伪造技术特征之间的MMD距离。

2.根据权利要求1所述的方法，其特征在于，所述的将所述待取证的人脸图像和视频的有效特征输入到分类器中，所述分类器输出所述待取证的人脸图像和视频是否为AI伪造的检测结果，包括：

分类器包含一个全连接层和一个softmax层，分类器的损失函数包括分类的交叉熵损失函数和对齐模块的损失函数，分类器的网络参数表示为：

其中，为交叉熵损失函数，为对齐模块的损失函数，λ为对齐模块损失函数的权重，在分类器的训练过程中，使用交叉熵损失训练检测框架，对最后一个卷积层和全连接层的交叉熵损失函数和对齐模块损失函数进行微调，最小化所述分类器的损失函数；

将所述待取证的人脸图像和视频的有效特征输入到分类器中，分类器根据所述待取证的人脸图像和视频的有效特征将所述待取证的人脸图像和视频剪切成多个128×128部分，每个128×128部分将被独立判断，如果其中一个128×128部分被认为是伪造的，则判断所述待取证的人脸图像和视频是AI伪造的，如果所有128×128部分被认为是真实的，则判断所述待取证的人脸图像和视频是真实的。