[发明专利]一种基于堆叠生成对抗网络的图像补全方法

说明书

本发明涉及一种基于堆叠生成对抗网络的图像补全方法，网络结构主要由三个堆叠的生成器网络层组成。首先将蒙版图像裁剪成多个图像块，以便网络就可以提取出不同图像块的特征；然后，本发明将补全的多图像块结果放入下一层的生成器中，以进一步补全图像；最后，将不同块的补全结果应用于一整块掩模图像上，得到最终的补全输出。从粗到细的补全作业，充分利用卷积神经网络提取的高层语义信息。并且通过图像块鉴别器来区分生成图像图像和原始图像的真假。实验结果表明，本发明方法能够对具有不规则掩模的图像生成高质量的补全结果，补全的结果更逼近原始图像。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于堆叠生成对抗网络的图像补全方法。

背景技术

近来，基于深度学习方法的图像补全任务得到长足发展，其应用范围也逐渐扩大。图像补全是图像处理领域的一个基本任务，它的难点在于需要为缺失的区域填补真实自然和语义正确的内容。早期的图像补全算法使用最近邻搜索方法，在背景区域搜索最相似的图像块填补缺失区域，但是这样并不能获取图像的高水平语义信息，因而其补全方法不能产生有意义的内容。另外一些图像补全算法是基于学习整个数据集分布的目标，通过大量数据的训练来构造缺失的内容，但是这样的补全效果特别缺乏图像高频信息，因而其补全图像总是模糊扭曲，图像质量不好。随后还有一些基于深度学习方法的图像补全提出学习图像数据的基本分布，即学习到一个函数能将缺失的图像映射到真实的图像。例如典型的图像补全方法一般使用基于generative adversarial network(GAN)的方法，GAN能将正态分布的噪声映射为图像，从而学习到真实图像的分布。GAN作为生成模型使用无监督学习方式可以学习到数据的复杂分布，GAN的生成器和判别器网络根据相反的目标联合训练：生成器最小化目标函数和判别器最大化目标函数来进行对抗训练，这样的对抗能促使它们拟合任何的数据分布，最终一旦训练成功生成器能够捕获真实数据分布。

现有技术方案存在以下的不足：

1、输出图像的修补区域会存在模糊不自然的缺陷

一些图像补全方法一般都会使用到全连接层，但是由于全连接层网络采用基于通道的全连接，会导致网络在获取图像语义信息的时候受到限制，因而最后的补全结果一般都会存在模糊不自然的问题。需要替换全连接网络结构来解决其瓶颈问题。

2、网络的训练时间和计算资源空间消耗量大

现有图像补全方法有的提出采用空洞卷积来增加网络的感受野，从而使网络更好地提取图像特征，最后提升补全图像的质量。但是由于较大空洞率造成了卷积核的稀疏性增大，带来了训练时间增加和计算资源成本提高，最终影响了网络的训练效率。需要设计训练时间少和计算成本低的网络来提高训练效率。

3、网络没有考虑到提取图像特征时，存在局部细节信息丢失的情况

现有图像补全方法忽略或没有完全考虑在图像下采样时会大量丢失局部细节信息，这样会使网络输出模糊的补全结果。还有的网络可能考虑到细节丢失，采用残差块或类残差块网络结构，但是这样利用细节信息还不充分，最后输出结果还是会存在模糊的缺陷。需要设计网络充分利用图像的局部细节信息，使网络产生高质量的结果。

因此迫切需要对现有的图像补全算法进行改进，使图像补全算法能够产生高质量的补全结果。

发明内容

针对现有技术之不足，一种基于堆叠生成器网络的图像补全方法，所述方法包括：

步骤1：收集下载补全图像数据集Places2和Paris StreetView，对所述补全图像数据集进行预处理；

步骤2：按照约定比例将所述补全图像数据集划分为训练集、验证集和测试集；