[发明专利]基于多尺度特征融合的人脸图像语义修复方法

说明书

本发明公开了一种基于多尺度特征融合的人脸图像语义修复方法，包括步骤如下：S1收集待处理的人脸图像组成训练集，对训练集人脸图像进行预处理尺寸裁剪，得到待训练人脸图像集；S2构建生成对抗网络模型，使用预训练模型的参数作为网络的初始化参数；S3将待训练缺失人脸图像集输入到生成网络G中，通过判别网络D判断生成网络修复人脸图像的真假；S4将判别结果反作用于生成网络，进行对抗训练，优化生成网络和判别网络的网络参数，当损失函数收敛时结束训练，并保存训练完成时的模型参数；S5将待修复的人脸图像输入到训练好的生成网络模型中，完成人脸图像修复。本发明能够降低网络初始化参数给网络训练带来的不利影响，使得网络训练稳定。

技术领域

本发明涉及深度学习和图像处理，尤其涉及一种基于多尺度特征融合的人脸图像语义修复方法。

背景技术

随着互联网技术和摄像设备使用的普及，人们惯于用图像和视频来记录生活，但图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，会导致图像质量的下降，这样的图像退化非常普遍。图像缺失是人物图像在发生图像退化时最影响图像使用的退化方向之一。数字图像修复属于计算机视觉和图形学交叉研究方向，其修复过程是利用图像未缺失部分的信息，按照一定的修复规则对图像缺失部分进行修补填充，使得修复后的图像完整自然。图像修复技术已被应用于文物保护、影视特技制作、虚拟现实和老照片修复等众多领域。目前已有的图像修复算法仍然存在视觉效果和算法效率方面的不足。

近年来，图像修复领域涌现了很多成果。2000年Bertalmio提出BSCB算法，通过引入偏微分方程对待修复图像缺失部分边缘区域提取信息，沿着幅线方向由外至内进行扩散对缺失区域进行修补，该方法对受损区域颜色单一、纹理简单的缺失图像具有较好的修复效果，不适用于大片区域图像块丢失的情况。2003年Chan提出基于全变分模型的数字图像修复模型，该方法较大不足在于对较大缺失图像进行修复时，修复边缘连续性较差。2014年lan Goodfellow创造性地提出了基于深度学习的生成对抗网络(Generative AdversarialNetwork,GAN)，目前GAN已经成为首选和最前沿的生成模型之一。2016年Pathak D等人利用对抗联合重建损失训练自编码模型，实现图像修复，但视觉效果较差。2018年Jiahui Yu在生成对抗网络模型中结合上下文注意力机制实现了图像修复达到了较好的效果，但在视觉效果方面仍有提升空间。

发明内容

发明目的：针对现有技术在实现人脸图像修复结果细节效果模糊，视觉感知较差的问题以及使用生成对抗网络进行模型训练时对于较大输入图片或较多像素会导致模式崩溃使得整个模型不可控的问题，提供一种基于多尺度特征融合的人脸图像语义修复方法。

技术方案：本发明提供一种基于多尺度特征融合的人脸图像语义修复方法，包括如下步骤：

(1)收集待处理的人脸图像组成训练集，对训练集人脸图像进行预处理尺寸裁剪，得到待训练人脸图像集；

(2)构建生成对抗网络模型，使用预训练模型的参数作为网络的初始化参数；

(3)将待训练缺失人脸图像集输入到生成网络G中，通过判别网络D判断生成网络修复人脸图像；

(4)将判别结果反作用于生成网络，进行对抗训练，优化生成网络和判别网络的网络参数，当损失函数收敛时结束训练，并保存训练完成时的模型参数；

(5)将待修复的人脸图像输入到训练好的生成网络模型中，完成人脸图像修复。

进一步地，所述步骤(1)还包括：

(1.1)将训练集人脸图像x裁剪为设定尺寸大小n*n的人脸图像x′，n为整数；