[发明专利]一种基于堆叠生成对抗网络的图像补全方法

权利要求书

1.一种基于堆叠生成对抗网络的图像补全方法，其特征在于，所述方法包括以下步骤：

步骤1：收集下载补全图像数据集Places2和Paris StreetView，对所述补全图像数据集进行预处理；

步骤2：按照约定比例将所述补全图像数据集划分为训练集、验证集和测试集；

步骤3：采用所述训练集对构建好的图像补全网络进行训练，所述的图像补全网络包括生成器和判别器，所述生成器包括三层补全网络，每层补全网络均包括一个编码器和一个解码器，第三层补全网络连接至判别器，整个补全网络为堆叠的网络层次结构，将预处理好的所述训练集分别送入对应的网络层进行训练，训练方法具体包括：

步骤31：将四等分待补全图像I_m4送入第一层补全网络，经第一编码器编码后分别输出4个块的特征图，将所述特征图按宽的维度拼接为2个第一特征图后送入第一解码器，由第一解码器输出2个块的第一补全图像；

步骤32：将2个所述第一补全图像和二等分待补全图像I_m2中的2个图像块对应相加后送入第二编码器，由第二编码器输出2个第二特征图，将其和2个所述第一特征图对应相加，再按高的维度拼接为1块第二特征图后再输入第二解码器，由第二解码器输出一整块的第二补全图像；

步骤33：将所述第二补全图像与所述待补全图像I_m相加后作为第三层网络的输入，由第三编码器输出第三特征图，将第三特征图和第二层网络的所述1块第二特征图相加后送入第三解码器，然后由第三编码器输出最终补全图像；

步骤34：判别器，将所述最终补全图像及原始图像输入到判别器中，通过判别器判断真假，当判别器不能区分所述最终补全图像和原始图像时，表示生成器网络和判别器网络已达到平衡，生成器已经捕获图像数据的真实分布；

步骤35：按照设定批次大小对所述图像补全网络进行迭代训练，每个批次中先训练判别器，根据对抗损失函数更新判别器参数，更新完后冻结判别器参数，根据重构损失函数、内容损失函数和风格损失函数更新生成器参数，交替训练整个图像补全网络；

步骤36：判断是否达到设定的验证迭代次数，若达到，则验证一次模型和保存一次模型，若未达到则执行步骤37；

步骤37：判断是否达到设定的迭代总次数，若达到则结束训练，否则重复步骤31至步骤36。

2.如权利要求1所述的图像补全方法，其特征在于，所述图像补全方法的损失函数包括分别针对缺失区域和已知区域的重构损失函数、对抗损失函数、内容损失函数和风格损失函数，其中，

重构损失函数用于约束生成图像的全局结构；

对抗损失函数用于约束判别器，提高判别器的识别准确度；

内容损失函数用于缩小生成图像和原始图像在预训练的VGG19网络中的特征之间的距离，进而使生成图像的质量得到提升；

风格损失函数计算图像在VGG网络中特征的格拉姆矩阵来把握图像的整体风格，通过约束生成图像和原始图像的风格差异亦可提高图像质量。

3.如权利要求2所述的图像补全方法，其特征在于，预处理方法包括：

步骤11：首先将数据集中图像的大小统一处理为256*256；

步骤12：接着将图像的所有像素值归一化到0至1，并且使用mask将归一化的图像处理为缺失中间内容的待补全图像I_m；

步骤13：将所述待补全图像I_m分别裁剪为四等分待补全图像I_m4、二等分待补全图像I_m2，并将待补全图像I_m、四等分待补全图像I_m4及二等分待补全图像I_m2作为补全网络的输入。