[发明专利]一种基于生成式对抗网络与可形变特征传输的文字生成方法及装置

权利要求书

1.一种基于生成式对抗网络与可形变特征传输的文字生成装置，包括：

生成网络，用于将文字图像的风格特征和内容特征分离后再重组形成解码特征，并通过形变特征传输模块根据部分解码特征与相应的内容特征得到形变内容特征，将得到的形变内容特征在特征解码模块与对应的解码特征进行级联后送入下一层神经网络，最后在特征解码模块的最后一层神经网络生成最终的文字图像；

判别网络，用于对所述生成网络生成的文字图像与真实文字图像进行真假判断。

2.如权利要求1所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于，所述生成网络进一步包括：

风格编码模块，用于获取字体风格参考图像，对字体风格参考图像编码生成风格特征；

内容编码模块，用于获取字体内容参考图像，对字体内容参考图像编码生成内容特征传送至特征解码模块，并将部分神经网络层输出的若干个内容特征送入形变特征传输模块；

特征解码模块，用于根据所述内容编码模块输出的内容特征在每一层神经网络生成初始的解码特征，并将风格特征融入各层的解码特征中形成解码特征，选取与所述内容编码模块送入形变特征传输模块的内容特征相对应的解码特征送入形变特征传输模块，获取形变特征传输模块送回的形变内容特征，与对应的解码特征级联后送入下一层神经网络，在最后一层神经网络生成最终的文字图像；

形变特征传输模块，用于对输入的每对特征，将内容特征Fi与解码特征Ki在空间维度以外的第三维度上进行级联，经卷积层卷积后得到卷积参数，并将所述内容特征Fi由该卷积参数指导下的卷积核进行卷积，得到形变内容特征送回所述特征解码模块。

3.如权利要求2所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：各模块均由若干层深度卷积神经网络组成。

4.如权利要求3所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：所述风格编码模块将所生成的风格特征Zs计算均值和方差后送入所述特征解码模块的各层神经网络的归一化层，以便所述特征解码模块将风格特征融入解码特征。

5.如权利要求4所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：所述特征解码模块通过将解码特征与风格特征的均值和方差在除空间维度外的第三维度对齐来使风格特征融入解码特征。

6.如权利要求5所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：所述内容编码模块的各层神经网络层输出在尺寸或激活值上大小不一的内容特征，其中的若干特征{Fc1,Fc2,…,Fcn；1＝cnN}被送入所述形变特征传输模块，其中N为所述内容编码模块的神经网络层数。

7.如权利要求6所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：所述内容编码模块中被送入所述形变特征传输模块的内容特征与送入所述形变特征传输模块的解码特征成对存在，对于下标加和为N的一对特征在空间维度上相等，并认为其为相对应的特征。

8.如权利要求7所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：对于上述每对特征{Fi,Ki；0icn+1}，所述形变特征传输模块先将内容特征Fi与解码特征Ki在空间维度以外的第三维度上进行级联，该级联特征被一个卷积层卷积后得到权重卷积参数、x方向卷积参数、y方向卷积参数，然后内容特征Fi由该卷积参数指导下的卷积核进行卷积，得到一个形变内容特征，最后该形变内容特征被送回混合网络与解码特征Ki进行级联送入所述特征解码模块中下一层神经网络。

9.如权利要求8所述的一种基于生成式对抗网络与可形变特征传输的文字生成装置，其特征在于：所述判断网络将得到的损失函数数值用于更新判别网络与生成网络，所述生成网络得到的损失函数数值仅用于更新生成网络。

10.一种基于生成式对抗网络与可形变特征传输的文字生成方法，包括：

步骤S1，利用风格编码模块对字体风格参考图像编码生成风格特征；

步骤S2，利用内容编码模块对字体内容参考图像编码生成内容特征传送至特征解码模块，并将其部分神经网络层输出的若干个内容特征送入形变特征传输模块；

步骤S3，特征解码模块根据内容编码模块输出的内容特征在每一层神经网络生成初始的解码特征，同时将解码特征通过与风格特征的均值和方差在除空间维度外的第三维度对齐来使风格特征融入各层的解码特征中形成解码特征，并选取与送入形变特征传输模块的内容特征相应的解码特征送入形变特征传输模块；

步骤S4，利用形变特征传输模块对输入的每对特征，先将内容特征Fi与解码特征Ki在空间维度以外的第三维度上进行级联，经卷积层卷积后得到卷积参数，并将内容特征Fi由该卷积参数指导下的卷积核进行卷积，得到形变内容特征送回特征解码模块；

步骤S5，特征解码模块在获取到形变特征传输模块送回的形变内容特征后，与对应的解码特征级联后送入下一层神经网络，最后在最后一层神经网络生成最终的文字图像；

步骤S6，利用判别网络对步骤S5成的文字图像与真实文字图像进行真假判断。