[发明专利]一种基于自注意力生成对抗网络的图像着色方法

摘要

本发明公开一种基于自注意力生成对抗网络的图像着色方法，其包括以下步骤：步骤1，训练灰度图片着色模型；步骤2，将训练数据集中的灰度图像输入对抗网络执行特征提取阶段、特征融合阶段、反卷积计算阶段以及自注意力学习阶段重建出其对应的彩色图像；步骤3，将自注意力学习后重建的彩色图像与对应的原始色彩图像进行比较，计算惩罚函数；步骤4，基于损失函数作为GAN的优化损失；步骤5，将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练以获取生成器网络。本发明采用对抗生成网络来从一张黑白或者灰度图像中重构出符合人类主观视觉偏好的彩色图像，使得更加逼真。

主权项

1.一种基于自注意力生成对抗网络的图像着色方法，其特征在于：其包括如下步骤：步骤1：训练灰度图片着色模型：选取大量的彩色原始图像处理得到大量的增广图片数据，并对每张彩色原始图像转其对应的灰度图像，将灰色图像堆叠成三通道的图像，将把灰度图像I_G和彩色原始图像I_C分别匹配作为深度学习的训练数据集，步骤2：将训练数据集中的灰度图像作为输入并执行特征提取阶段、特征融合阶段、反卷积计算阶段以及自注意力学习阶段，最终重建出其对应的彩色图像，具体包括以下几个步骤：步骤2.1，特征提取阶段：输入的灰度图像进入特征提取阶段后，进行卷积运算、谱归一化、批归一化和激活函数运算得到特征提取层输出结果；特征提取阶段由六大块卷积层组成，每个卷积块内包括三个相同维度输入输出的卷积层；其中一个大卷积块的计算公式是：F＝g{BN{SN{W₃*g{BN{SN{W₂*g{BN{SN{W₁*I_G+B₁}}}+B₂}}}+B₃}}}  (1)其中g表示非线性激活函数，W₁，W₂，W₃，B₁，B₂，B₃分别表示特征提取阶段中第一个、第二个和第三个卷积层的权重和偏置，SN表示谱归一化函数，BN表示批归一化函数，I_g表示输入图片，F表示特征提取阶段得到的输出结果。步骤2.2，特征融合阶段：特征融合阶段由一个卷积层和一个跳跃式连接构成，通过跳跃式连接将该卷积层的输出与特征提取层的输出相连接，特征融合阶段的公式如下：F_g＝g(BN(W_LF_L+B_L))+F₂  (2)其中F_L表示特征提取卷积模块的输出，W_L和B_L表示特征融合阶段卷积层的权重和偏置参数，F₂是前一阶段的特征提取层的输出，g表示非线性激活函数。步骤2.3，反卷积计算阶段：反卷积计算阶段由一个以上反卷积层组成，反卷积层将特征融合阶段所得特征图进行上采样操作，其计算公式是：I′_O＝((W_d1*F_g+B_d1)*W_d2+B_d2)…*W_dn+B_dn  (3)其中W_d1，W_d2，W_dn，B_d1，B_d2，和B_dn分别表示第一个、第二个和第n个反卷积层的权重和偏置参数，F_g是特征融合阶段的输出，I′_O表示反卷积阶段的输出。步骤2.4，自注意力学习阶段：自注意力学习阶段由多个卷积层组成，其计算公式是：其中i为输出位置，j为参与运算的位置，C(x)为归一化参量，f(x_i，x_j)表示向量x_i与x_j处的相似关系函数，g(x_j)为x_j处的特征；步骤3：将自注意力学习后重建的彩色图像与对应的原始色彩图像进行比较，计算Perceptual Loss惩罚函数，该损失函数可以表示为：其中，j表示网络的第j层，C_jH_jW_j表示第j层特征图的大小，φ表示损失网络；步骤4，基于HingeLoss损失函数作为GAN的优化损失，损失函数为：其中，L_D表示判别器的损失函数，L_G表示生成器的损失函数。损失函数的计算都可以看作是在数据P分布情况下的期望；步骤5，将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练；当完成一个子训练周期后重建的彩色图像与其对应的原始色彩图像比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行步骤2；当在完成一个子训练周期后重建的彩色图像达到预期或完成所有预设的子训练周期的次数后，则获得最终结果。