[发明专利]基于生成对抗网络的书法图片生成方法

说明书

本发明公开了一种基于生成对抗网络的书法图片生成方法：步骤1，裁剪整幅书法图像得到裁剪图片；步骤2，得到所有的裁剪图片及标注文件组成的数据集；步骤3，对数据集中的每张裁剪图片进行预处理；步骤4，使用步骤3得到的预处理后得到的数据集中的标准化后的裁剪图片、字的二值化图片和标注文件中的字的位置和大小信息计算损失函数，训练生成对抗网络，得到训练好的书法图片生成模型；步骤5，获得待生成书法图像的字的编码和附加信息；步骤6，得到生成的书法图片。实验结果表明，本发明的方法能够生成效果良好的书法图片，解决了现有技术中的书法图像修复工作中由于破损程度过大而无法修复的情况。

技术领域

本发明属于计算机图像处理技术领域，涉及基于生成对抗网络的书法图片生成方法。

背景技术

计算机视觉与图像处理发展到现阶段已经有了令人惊叹的研究成果，一些根据输入条件生成特定图像的问题也是研究人员经常关注的问题。

在以往的工作中图像的生成通常使用变分自编码器，即提取图像的中的信息并将这些信息嵌入到一个将对较简单分布(通常是正太分布)的向量中，再将这个向量还原回图像，并计算还原后的图像与原始图像的差异值，更新网络中的参数减小这个差异以达到可以直接使用一个符合特定分布(正太分布)的向量直接生成图像。后来提出的基于GAN的图像生成方法有着更好的效果，我们较熟悉的模型有pix2pix可以使用成对的图片数据集训练模型，进行两种图片的转化，之后提出来的CycleGAN可以使用不同的数据集训练模型来完成两个域的图片进行相互转化。再之后的一些研究工作还包括从一局文字描述中生成符合文字描述的图片如StackGAN,StackGAN++等工作。

但是，上述这些研究的局限性在于，文本和生成的图像只能包含一个对象，无法从包含位置关系的复杂文本中生成具有多个对象且对象之间符合文本所描述的位置关系的图像。因此，对于现今书法图像修复工作中因为破损程度过大而无法修复的情况，目前还未有有效的书法图片生成方法。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种基于生成对抗网络的书法图片生成方法，用于解决现有技术中的书法图像修复工作中由于破损程度过大而无法修复的情况。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种基于生成对抗网络的书法图片生成方法，具体包括以下步骤：

步骤1，采集整幅书法图像，并采用覆盖该书法图像高度的正方形窗口对其进行裁剪，得到多张裁剪图片；

步骤2，对每张裁剪图片上的每个字构建一个外切矩形，获得每个字在裁剪图片上的相对位置和大小信息，并对每个字赋予唯一的编码及附加信息；将字的位置和大小信息、附加信息均与字的编码一一对应，得到每张裁剪图片的标注文件；所有的裁剪图片及标注文件组成数据集；

步骤3，对步骤2得到的数据集中的每张裁剪图片进行预处理；具体包括如下操作：对步骤2得到的数据集中的每张裁剪图片统一尺寸和标准化，得到标准化后的裁剪图片，同时，对裁剪图片中每个字裁剪得到字的图片、将字的图片转为单通道图片并统一尺寸、二值化，得到的字的二值化图片；标准化后的裁剪图片、字的二值化图片和步骤2得到的数据集中的标注文件组成预处理后的数据集；

步骤4，将步骤2得到的每个字的编码及附加信息进行词嵌入操作，得到该字的编码对应的向量和附加信息对应的向量，将这两个向量拼接后作为生成对抗网络的输入数据，使用步骤3得到的预处理后得到的数据集中的标准化后的裁剪图片、字的二值化图片和标注文件中的字的位置和大小信息计算损失函数，训练生成对抗网络，得到训练好的书法图片生成模型；

步骤5，获得待生成书法图像的字的编码和附加信息；

步骤6，将步骤5得到的待生成书法图像的字的编码和附加信息进行词嵌入操作，得到该字的编码对应的向量和附加信息对应的向量，将这两个向量作为输入数据，输入步骤4得到的训练好的书法图片生成模型，得到生成的书法图片。