[发明专利]一种基于双尺度循环生成对抗的人脸灰度图像着色方法

说明书

本发明公开了一种基于双尺度循环生成对抗的人脸灰度图像着色方法，其实现步骤为：数据收集与预处理，模型构建，模型训练和图像上色。本发明利用循环生成网络，采用双尺度卷积，在跳跃连接中融合CBAM注意力模构建人脸灰度图像着色模型，将灰度图像输入到生成器中，关注待着色区域重要信息，抑制不必要区域的映射学习。在判别器上沿用PatchGAN，实现更细致的判别。实现了高效的端到端自动着色，较好缓解了现有方法普遍存在的边缘颜色溢出、细节损失和着色枯燥的问题，最后生成着色效果出色的彩色图像。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于双尺度循环生成对抗的人脸灰度图像着色方法。

背景技术

在灰度图像着色领域，早期主要依靠人工对图像逐像素着色，这种方式不仅仅效率低下。而且耗费大量的人力物力。后来，因计算机的出现和普及，人们开始使用计算机处理图像，为解决灰度图像着色带来极大的便利。

根据图像色彩来源，使用计算机进行图像着色主要可分为三类。基于局部颜色扩展、基于参考图像和基于深度学习的着色方法。前两者提出的时间较早，通常需要用户交互，人工操作量较大，后者出现的时间较晚，用户只需训练好网络模型即可实现端到端的全自动着色，但效果不够稳定，且容易出现颜色边界溢出、细节损失和着色枯燥的问题。

人脸图像是众多图像中的一类，具有较清晰的待着色区域。同时，受早期摄影技术的限制，如今还有很大一部分黑白老照片，将这些人脸老照片进行着色后可以极大程度重现生机。

发明内容

本发明的目的就是提供一种基于双尺度循环生成对抗的人脸灰度图像着色方法，给输入的人脸灰度图像实现全自动上色，并且缓解了颜色边界溢出、细节损失和着色枯燥的问题。

为达到上述目的，本发明将灰度图像作为条件输入到生成器中，利用双尺度卷积、注意力机制提取图像的浅层、深层以及显著特征信息，通过循环生成对抗网络维持图像空间的一致性问题，最后生成着色效果出色的彩色图像。

具体步骤如下：

步骤1、数据收集与预处理：获取大量的人脸彩色图像，统一图像尺寸大小；将数据集划分为训练集和验证集；对训练集数据通过添加随机翻转操作进行数据增强；使用cv库函数将图像转换为CIE Lab颜色空间，并提取L通道作为模型的输入。

步骤2、构建人脸灰度图像着色模型：该模型选用循环生成网络结构，包括两对生成器-判别器结构；使用改进过的U-Net作为生成器，采用双尺度卷积模块进行特征的提取，增加模型对不同尺度信息的适应性，提取多维度的特征信息；在跳跃连接中，通过CBAM注意力模块提取带有注意力权重的信息，将之与上采样阶段进行融合，关注待着色图像的显著区域，抑制不必要区域。在判别器上，沿用PatchGAN，采用全卷积的形式，最终输出一个特征图，表示输入图像的多区域的真假概率值，考虑了更多区域的着色效果。

步骤3、训练人脸灰度图像着色模型：将步骤1提取的L通道灰度图像作为模型的输入，余下的ab通道作为模型的标签。结合对抗性损失、循环一致性损失、身份认证损失和灰度损失，通过加权计算得出最终的损失函数对模型进行优化训练，按照先训练判别器，后训练生成器的策略进行模型训练。

步骤4、对人脸灰度图像进行上色：将待着色的人脸灰度图像输入到训练好的模型中，即可输出着色后的彩色人脸图像。

与现有技术相比，本发明具有以下优点：

第一，本发明结合循环生成网络，在维持了灰度图像和着色图像的一致性的同时，模型取得了较好的拟合结果。在生成器中，融合不同大小卷积核的双尺度卷积模块对特征图进行特征提取，将全局语义与局部特征进行相适应地融合，与普通的3×3大小卷积核相比，进一步提升了模型的性能，提高了着色图像的质量，能够得到比现有方法色彩更饱满的彩色图像。