[发明专利]基于多尺度特征融合的人脸图像语义修复方法

权利要求书

1.一种基于多尺度特征融合的人脸图像语义修复方法，其特征在于,包括如下步骤：

(1)收集待处理的人脸图像组成训练集，对训练集人脸图像进行预处理尺寸裁剪，得到待训练人脸图像集；

(2)构建生成对抗网络模型，使用预训练模型的参数作为网络的初始化参数；

(3)将待训练缺失人脸图像集输入到生成网络G中，通过判别网络D判断生成网络修复人脸图像；

(4)将判别结果反作用于生成网络，进行对抗训练，优化生成网络和判别网络的网络参数，当损失函数收敛时结束训练，并保存训练完成时的模型参数；

(5)将待修复的人脸图像输入到训练好的生成网络模型中，完成人脸图像修复。

2.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法，其特征在于，所述步骤(1)还包括：

(1.1)将训练集人脸图像x裁剪为设定尺寸大小n*n的人脸图像x′，n为整数；

(1.2)对待训练人脸图像x'添加随机尺寸的掩膜得到待训练缺失人脸图像集，具体包括：对待训练人脸图像随机添加掩膜，得到缺失部分尺寸不一的待训练缺失人脸图像集；掩膜M中遮挡部分值为0，不遮挡部分值为0，则待训练缺失人脸图像可表示为x″＝M*x′。

3.根据权利要求1所述的基于多尺度特征融合的人脸图像语义修复方法，其特征在于，步骤(2)所述生成对抗网络由生成网络G和判别网络D两个深度卷积神经网络组成，生成网络G还包括：

(2.1)生成网络G由卷积层、六组卷积下采样单元、抑制增强单元、四组空洞卷积单元、四组卷积层、六组卷积上采样单元、两组卷积层连接组成；

(2.1.1)卷积下采样单元由三组1*1卷积、3*3卷积连接组成，第一组1*1卷积输出和卷积下采样单元的输入进行concatenate连接实现特征融合，第一组卷积下采样单元中输入和第二组1*1卷积输出进行跳跃连接，第二至六组卷积下采样单元中第二组3*3卷积输出和上一组卷积下采样单元中第二组1*1卷积输出进行跳跃连接。抑制增强单元由全局池化、全连接层、ReLU()激活函数、全连接层、Sigmoid()激活函数连接组成的输出和抑制增强单元输入concatenate连接组成；

(2.1.2)空洞卷积模块由1*1卷积和空洞卷积连接组成，空洞卷积采取的扩张率分别为2、4、8、16；

(2.1.3)卷积上采样单元由1*1卷积、反卷积、自注意力特征模块、1*1卷积、3*3卷积连接组成，卷积上采样单元输入由上一卷积输出和对应卷积下采样单元中第二组3*3卷积输出进行concatenate连接得到，自注意力特征单元由对应下采样卷积单元第二组3*3卷积输出进行1*1卷积后得到的特征图与自注意力特征单元的输入进行1*1卷积得到的特征图进行跳跃连接得到的输出和ReLU()激活函数、1*1卷积、Sigmoid()激活函数连接得到的输出与自注意力特征单元输入相乘结果作为自注意力特征单元的输出；

(2.1.4)卷积层后使用批归一化和激活函数ReLU()，最后一层卷积层后使用Sigmoid()激活函数；

(2.2)判别网络D由全局判别网络D1和局部判别网络D2共同组成，全局判别网络D1判断生成网络修复后的完整人脸图像是否为真，局部判别网络D2判断生成网络G修复的缺失图像块是否为真实的图像块，分别由五组卷积层、Flatten()、全连接层连接组成，卷积层后使用批归一化和激活函数ReLU()；

(2.3)使用预训练模型的参数具体包括：对生成对抗网络进行预训练：随机初始化生成对抗网络的模型参数，对生成对抗网络进行训练并保存每次训练完成时的模型参数，训练一定次数之后，随机选取该批次中的模型参数作为重新训练的初始化参数。