[发明专利]基于循环生成对抗网络的图像拼接方法和装置

说明书

本发明实施例涉及图像拼接技术领域，公开了一种基于循环生成对抗网络的图像拼接方法和装置。该方法包括：构建数据集；构建循环生成对抗网络；使用数据集对循环生成对抗网络进行训练；将背景图像分割成带有重叠区域的若干图像块；在第一图像块中设置初始条件区域，从第一图像块中提取第一条件图像，通过A2B类生成器得到第一生成图像；基于第一图像块和第二图像块的重叠区域从第一图像块中提取第二条件图像，通过A2B类生成器得到第二生成图像；将第一生成图像和第二生成图像拼接；按照顺序基于重叠区域生成其他图像块的生成图像，并与之前的图像进行融合拼接，得到拼接图像。实施本发明实施例，可以快速、有效、大量地完成图像融合。

技术领域

本发明涉及图像拼接技术领域，具体涉及一种基于循环生成对抗网络的图像拼接方法和装置。

背景技术

用深度学习进行图像目标识别已经得到越来越广泛的应用，但是网络学习需要的大量图像数据往往成为应用开发的一个瓶颈，图像数据的生成成为一个热点研究方向，其中，有一类问题不容忽视，即有些目标图像既有高清要求，又涉及非常规的图像结构尺寸，例如，在产品中出现的又细又长的产品缺陷等，需要先通过生成局部目标图像，然后进行合理的图像融合，以生成适用的图像样本。

生成式对抗网络(GAN：Generative Adversarial Network)是一种隐式密度生成模型，其学习性质是无监督的。在GAN网络的基础上发展出了图像风格转移技术或称图像风格混合模型，例如将照片转换为绘画，将夏季拍摄的照片转换为冬季拍摄的照片，或将马的照片转换为斑马照片；发展出了由文本描述到图像的生成，带来许多实际应用，例如将文本形式的故事转换为漫画等；还发展了图像的着色、增强等，例如将夜间图像转换为白天的图像，或者给黑白图像着色，以及将草图转换为逼真的照片等等。但现有技术中没有涉及如何通过网络生成图像技术进行快速、有效、大量的图像融合，达到生成图像中目标的逼真度不变，但目标的形式和图像的大小或结构可以得到较大的扩展。

发明内容

针对所述缺陷，本发明实施例公开了一种基于循环生成对抗网络的图像拼接方法和装置，能够通过网络生成图像技术进行快速、有效、大量的图像融合，达到生成图像中目标的逼真度不变，但目标的形式和图像的大小或结构可以得到较大扩展。

本发明实施例第一方面公开一种基于循环生成对抗网络的图像拼接方法，所述方法包括：

构建数据集，所述数据集包括无目标数据集和有目标数据集；

构建循环生成对抗网络，所述循环生成对抗网络包括A2B类生成器，B2A类生成器、A类判别器和B类判别器，所述A2B类生成器用于将A类图像和其对应的条件图像作为输入，输出B类生成图像，所述B2A类生成器用于将B类图像作为输入，输出A类生成图像，所述A类判别器用于根据所述A类图像判别所述A类生成图像的真假，所述B类判别器用于根据所述B类图像判别所述B类生成图像的真假；

使用所述有目标数据集和无目标数据集对所述循环生成对抗网络进行训练，得到训练后的循环生成对抗网络；

选取一张要生成目标物体的背景图像，并将所述背景图像分割成带有重叠区域的若干图像块；

在第一图像块中选择一个区域作为初始条件区域，根据这个初始条件区域从第一图像块中提取第一条件图像，将所述第一图像块和第一条件图像作为训练后的循环生成对抗网络中A2B类生成器的输入，得到第一生成图像；

根据第一图像块和第二图像块的重叠区域，基于所述重叠区域从第一图像块中提取第二条件图像，将所述第二图像块和第二条件图像作为训练后的循环生成对抗网络中A2B类生成器的输入，得到第二生成图像；

将所述第一生成图像和第二生成图像进行融合拼接；按照顺序基于重叠区域生成其他图像块的生成图像，并与之前生成的图像进行融合拼接，得到最终的拼接图像。