[发明专利]一种基于多损失深度融合的人脸防伪方法

权利要求书

1.一种基于多损失深度融合的人脸防伪方法，其特征在于，包括如下步骤：

步骤(1)，对视频图像进行预处理，截取视频数据中的每一帧作为人脸图像数据集；

步骤(2)，共享卷积层提取低层图像特征，记输入图像为I_i，用尺度为n×n的卷积核对图像I_i进行卷积处理，其中，图像I_i的输入通道数为3，卷积之后的输出通道数为64；

步骤(3)，设置标志量flag，当标志量flag为local part时，调用多局部并行网络学习输入图像的局部和微纹理特征；当标志量flag为global part时，调用全局网络并采用ASPP结构进行多尺度特征学习；

步骤(3)中调用多局部并行网络学习输入图像的局部和微纹理特征的具体实现方式如下，

步骤3.1.1，定位人脸关键点，切分局部人脸区域：通过人脸检测标注出输入人脸的特征部位，选取标注的关键点，以这些关键点为中心切取局部人脸，将人脸图像被切分成m个部分，切分之后得到局部人脸区域集合其中表示第m个局部区域的特征映射；

步骤3.1.2，局部人脸区域特征学习：将集合中每一局部分别送入局部学习网络中进行特征学习，得到每个局部区域的特征表示其中i表示第i个局部区域，θ_i表示第i个局部区域特征学习过程中的网络参数；

步骤3.1.3，全连接层特征联合，将步骤3.2学习得到的m个特征进行连接，然后采用若干个结点的全连接层对联合特征进行融合，其中x_m表示第m个局部区域经全连接层之后的特征表示，d为结点的个数；

步骤3.1.4，采用LASSO正则进行特征筛选和融合；

记标签为模型函数为f(w_L)＝X^Tw_L，则采用LASSO正则后使得在局部学习网络稀疏处理区域的优化目标更新为：

其中，w_L表示训练网络中的权重参数，f(w_L)表示网络从输入对象X中学习得到的输出，Y为数据标签，λ是训练中设置的参数，用来调整两种损失的权重；

重新考虑网络约束问题并将其表示为:

其中是一个对角矩阵，对应于Group LASSO的对应信息，其表达式如下所示：

其中是对应的分组信息，

由此可见，F依赖于W_L，而整个目标函数的最小化依赖于F、W_L，采用梯度下降算法来收敛网络，在每次反向传播中更新参数W_L，计算方法如下公式所示：

根据上述求解得到的W_L在网络优化过程中不断更新网络参数；

步骤(4)，将学习得到的局部特征与全局特征进行融合，采用Softmax分类器进行分类；

步骤(5)，计算网络损失，并采用Adam算法进行网络的反向传播训练；

步骤(6)，输出人脸图像的预测结果Y_i。

2.如权利要求1所述的一种基于多损失深度融合的人脸防伪方法，其特征在于：步骤(3)中调用全局网络学习人脸的多尺度特征的具体实现方式如下，

步骤3.2.1，提取图像深层特征，将共享卷积层的输出连接到全局学习网络提取深层特征F；

步骤3.2.2，多尺度特征提取：分别利用多个尺度的空洞卷积核对步骤3.2.1的深层特征输出F进行空洞卷积，不同尺度卷积核提取的特征进行同维度联合输出融合特征F_fusion；

步骤3.2.3，采用Global Average Pooling的方式，在融合特征F_fusion上的每一张特征图上求平均，获取该特征图的表征v_i，所有特征图进行GAP得到特征向量V＝[v₁，v₂，...，v_n]，将其作为全局学习网络的特征输出。

3.如权利要求1所述的一种基于多损失深度融合的人脸防伪方法，其特征在于：d的取值为512。

4.如权利要求2所述的一种基于多损失深度融合的人脸防伪方法，其特征在于：多个尺度的空洞卷积核分别为rate＝6,12,18,24的空洞卷积核。