[发明专利]基于生成对抗网络的书法图片生成方法

权利要求书

1.一种基于生成对抗网络的书法图片生成方法，其特征在于，具体包括以下步骤：

步骤1，采集整幅书法图像，并采用覆盖该书法图像高度的正方形窗口对其进行裁剪，得到多张裁剪图片；

步骤2，对每张裁剪图片上的每个字构建一个外切矩形，获得每个字在裁剪图片上的相对位置和大小信息，并对每个字赋予唯一的编码及附加信息；将字的位置和大小信息、附加信息均与字的编码一一对应，得到每张裁剪图片的标注文件；所有的裁剪图片及标注文件组成数据集；

步骤3，对步骤2得到的数据集中的每张裁剪图片进行预处理；具体包括如下操作：对步骤2得到的数据集中的每张裁剪图片统一尺寸和标准化，得到标准化后的裁剪图片，同时，对裁剪图片中每个字裁剪得到字的图片、将字的图片转为单通道图片并统一尺寸、二值化，得到的字的二值化图片；标准化后的裁剪图片、字的二值化图片和步骤2得到的数据集中的标注文件组成预处理后的数据集；

步骤4，将步骤2得到的每个字的编码及附加信息进行词嵌入操作，得到该字的编码对应的向量和附加信息对应的向量，将这两个向量拼接后作为生成对抗网络的输入数据，使用步骤3得到的预处理后得到的数据集中的标准化后的裁剪图片、字的二值化图片和标注文件中的字的位置和大小信息计算损失函数，训练生成对抗网络，得到训练好的书法图片生成模型；

步骤5，获得待生成书法图像的字的编码和附加信息；

步骤6，将步骤5得到的待生成书法图像的字的编码和附加信息进行词嵌入操作，得到该字的编码对应的向量和附加信息对应的向量，将这两个向量作为输入数据，输入步骤4得到的训练好的书法图片生成模型，得到生成的书法图片。

2.如权利要求1所述的基于生成对抗网络的书法图片生成方法，其特征在于，所述步骤4中，所述生成对抗网络包括生成器和判别器；

所述生成器用于将输入的字的编码对应的向量和附加信息对应的向量生成书法图像，生成器包括书法字生成网络、书法字布局预测网络和高清化生成网络，其中，所述书法字生成网络用来将步骤2得到的每个字的编码对应的向量生成所对应的书法字的图片；书法字布局预测网络用来根据步骤4所述的两个向量，预测每个字在裁剪图片中相对位置和大小；高清化生成网络用于结合所述书法字生成网络生成的书法字的图片和所述书法字布局预测网络得到的字的相对位置和大小，生成一副与步骤2得到的裁剪图片对应的书法图像。

所述判别器包括对图片的判别器和对字的判别器，其中，所述对图片的判别器用于对生成器输出的书法图像进行真伪判别；对字的判别器用于对生成器输出的书法图像中每个字判别是否真实和准确。

3.如权利要求1所述的基于生成对抗网络的书法图片生成方法，其特征在于，所述步骤4中，所述生成对抗网络包括生成器和判别器；

所述生成器包括书法字生成网络、书法字布局预测网络和高清化生成网络，其中，书法字生成网络中设置有依次连接的多个上采样卷积块、一个卷积层和一个sigmod激活函数层；书法字布局预测网络设置为依次连接的双向LSTM模型和多个全连接块；高清化生成网络则设置为依次连接的多个高清化模块、卷积层、激活函数层和卷积层。

判别器包括对图片的判别器和对字的判别器。其中，对图片的判别器设置为依次相连的多个卷积块和一个卷积层；对字的判别器设置为依次相连的多个卷积块、平均池化层和全连接层。

4.如权利要求3所述的基于生成对抗网络的书法图片生成方法，其特征在于，所述上采样卷积块设置为依次连接的上采样层、Batch Norm层、卷积层以及激活函数层。

5.如权利要求3所述的基于生成对抗网络的书法图片生成方法，其特征在于，所述全连接块设置为依次相连的全连接层、Batch Norm层和激活函数层。

6.如权利要求3所述的基于生成对抗网络的书法图片生成方法，其特征在于，所述高清化模块包括依次连接的卷积层、Batch Norm层、激活函数层、卷积层、Batch Norm层、激活函数层。

7.如权利要求3所述的基于生成对抗网络的书法图片生成方法，其特征在于，所述卷积块包括依次连接的卷积层、Batch Norm层、激活函数层。

8.如权利要求1所述的基于生成对抗网络的书法图片生成方法，其特征在于，步骤4中的损失函数L：

其中，λ₁,λ₂，λ₃，λ₄，λ₅，λ₆均为损失函数的权重且均大于0；L_mask表示书法字生成网络生成的每个字生成的图片与步骤3得到的字的二值化图片的差异值；L_box表示书法字布局预测网络得到的每个字在裁剪图片中相对位置和步骤2的标注文件中的所记录的字的位置之间的坐标差异值；L_pix表示高清化生成网络生成的书法图像和步骤3中所述的标准化后的裁剪图片之间的差异值；表示利用对图片的判别器，计算生成器输出的书法图像和步骤3得到的标准化后的裁剪图片之间分布的相似度；表示利用对字的判别器，计算生成器得到的生成图片中的字和标准化后的裁剪图片中的字之间分布的相似度；表示利用对字的判别器，计算生成器得到的生成图片中的每个字分类的误差损失值。