[发明专利]一种风格字符生成的方法

说明书

本发明提出了一种“基于深度特征相似性融合生成对抗网络”生成风格字符的方法。具体来讲，分别使用风格提取器和内容提取器对相关字符特征进行提取，计算深度特征相似性，并将此深度特征相似性运用到特征融合过程，得到目标字符的深度特征，最终由该融合后的深度特征生成目标风格字符。该方法能够根据任意个来自同一风格的参考字符，和一个标准集中的字符，生成一新的字符，其中该生成字符的风格与参考字符一致，其内容与给定的标准集中的字符一致。所述风格字符，包括但不限于书法字体中字符，印刷体字符，广告牌字符，自然场景文字字符等。所述方法可以处理多种语言的文字。

技术领域

本发明涉及深度学习与图像生成，具体涉及一种基于给定风格字符生成具有与其风格一致的目标字符的生成方法。

背景技术

文字作为一种人为设计的重要符号，包含了各种风格，其中有字体、笔画、阴影、轮廓、颜色、纹理和复杂的效果等等。设计和绘制某种语言的基本文字需要花费设计师大量的时间和精力，在真实场景中，我们只能收集由艺术家为特定用途而设计的一部分文字的子集，比如电影标题、路边的一个标志、商家的某些广告等。而如果可以根据某一些文字的子集去生成需要的目标文字，就可以大大的缩短设计师设计大量字符所需的时间，也可以让普通人变成文字设计大师。

近年来，很多人在文字生成领域做出了不错的工作。但不论是zi2zi，《DCFont:anend-to-end deep chinese font generation system》，还是CN109165376A等工作都只能处理灰度图像级别的文字生成，其本身处理的对象风格仅限于字体的变化等(印刷体风格和手写风格)，而不包含复杂的纹理。S.Azad等人提出来的Multi-content Gan(Azadi S,Fisher M,Kim V,et al.Multi-Content GAN for Few-Shot Font Style Transfer[C])将网络分为GlyphNet和OrnaNet两个部分，这两个网络结构都是条件对抗网络，其中GlyphNet从大量数据中学习生成26个大写英文字符的样式，OrnaNet针对特定风格的字符对模型进行微调。其堆栈式的输入，只适合像英语这样只有26个字母的语言，而不适用于汉字等字符较多的预研。此外，目前的文字生成时，需要固定给定参考字符的个数，且一般一种方法只针对一种特定语言，这在一定程度上限制了文字生成的应用场景。

发明内容

本发明的目的是为了解决上述背景技术中存在的不足。因此，提出了一种“基于深度特征相似性融合生成对抗网络”生成风格字符的方法。

为了实现上述目的，本发明所采用的技术方案为：

一种风格字符生成的方法，以若干种风格字符组成的参考字符数据集，以及任意挑选的一组风格字符的全集作为标准集，使用基于深度特征相似性融合生成对抗网络生成风格字符的方法；该方法能够根据任意个来自同一风格的参考字符，和一个标准集中的字符，生成一新的字符，其中生成字符的风格与参考字符一致，其内容与给定的标准集中的字符一致；

所述基于深度特征相似性生成对抗网络由判别器D和生成器G两部分组成；其中生成器G部分由内容提取器E_c，风格特征提取器E_s，风格融合器M_f和逆向生成网络D_r四个部分组成；

所述判别器D，输入数据为来自真实的目标文字TC或生成的目标文字GC,输出为样本来自真实分布的概率，若样本为TC则输出为1，若样本为GC则输出为0；判别器的网络结构由三个卷积块组成，每个卷积块包括卷积层、批归一化、激活函数和下采样，其中网络的最后一层输出为Softmax概率；

所述内容提取器E_c，输入数据为来自标准集中的目标字符的内容CT，输出为指定CT的深层内容特征f_c，该提取器的网络结构由三个卷积块和六个ResNet块Block组成，每个卷积块包括卷积层、批归一化、激活函数和下采样；