[发明专利]一种基于生成式对抗网络与可形变特征传输的文字生成方法及装置

说明书

本发明公开了一种基于生成式对抗网络与可形变特征传输的文字生成装置及方法，所述装置包括：生成网络，用于将文字图像的风格特征和内容特征分离后再重组形成解码特征，并通过形变特征传输模块根据部分解码特征与相应的内容特征得到形变内容特征，最后将得到的形变内容特征在特征解码模块与对应的解码特征进行级联后送入下一层神经网络，最后在特征解码模块的最后一层神经网络生成最终的文字图像；判别网络，用于对所述生成网络生成的文字图像与真实文字图像进行真假判断。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于生成式对抗网络与可形变特征传输的文字生成方法及装置。

背景技术

作为信息存储和传输的载体，文字在人们生活中占据着非常重要的地位。文字生成方法的研究和应用是一个非常有挑战性的任务，尤其是针对包含大量字符的文字系统如中文、韩文、日文等。并且，文字生成在字体库生成、历史笔迹模仿、光学字符识别任务的数据增强等领域发挥着重要的作用。

近来，随着神经网络的发展使自动文字生成为了可能。目前已经有一些方法进行文字生成的尝试并取得了较好的效果，例如P Upchurch，N Snavely，K Bala于2016年发表的“From A to Z:Supervised Transfer of Style and Content Using Deep NeuralNetwork Generators”使用了神经网络针对特定的文字系统生成了特定风格的整套字母库。Zi2zi与Rewrite是两个被广泛使用的项目，它们在上千成对字体的监督下通过学习两种不同风格的字体之间的特征映射来生成文字。在这之后，Zhang,Yexun,Cai,Wenbin,Zhang,Ya等人在2017年发表的“Separating style and content for generalized styletransfer”和Sun,Danyang,Ren,Tongzheng,Li,Chongxun等人2017年发表的“Learning towrite stylized chinese characters byreading ahandful ofexamples”设计了神经网络来分别提取内容和风格特征，并将其重组来生成新的文字。但上述方法生成的文字普遍存在模糊或缺少部件等问题，此外，也有一些方法尝试加入额外的标签来帮助生成高质量的文字图像，例如Junbum Cha,Sanghyuk Chun,Gayoung Lee等人2020年发表的“Few-shotcompositional font generation with dual memory”以及Yaoxiong Huang,MengchaoHe,Lianwen Jin等人2020年发表的“RD-GAN:few/zero-shot chinese character styletransferviaradical decomposition and rendering”使用了部件分解的方法来帮助字体生成，并且达到了每种风格只需要很少的数据集就可以对进行汉字生成，也有方法通过为一个字符的每个笔画部件的分配标签来进行文字生成。然而上述方法只能应用到特定的文字系统，并且一些标签如笔画标签需要由其他算法来提取估计，这些将会引入额外的影响；同时，这些方法针对每个笔画部件设置标签导致其无法处理复杂的连笔的情况。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于生成式对抗网络与可形变特征传输的文字生成方法及装置，以通过内容特征和风格特征分离然后再重组，生成高清晰度、并充分融入了字体风格参考图像的风格特征(如笔锋、连笔、粗细等)的文字合成图像，并通过设计形变特征传输模块将内容编码模块中内容特征经过形变后传输给特征解码模块，保证了特征解码模块能够输出笔画完整的文字图像。

为达上述及其它目的，本发明提出一种基于生成式对抗网络与可形变特征传输的文字生成装置，包括：