[发明专利]基于关联注意力的少样本文字风格迁移方法

说明书

本发明公开了基于关联注意力的少样本文字风格迁移方法，包括：构建训练数据集和测试数据集；训练数据集包括内容参考集、风格参考集；构建基于关联注意力的生成对抗网络，生成对抗网络包括生成器网路、鉴别器网络；设置损失函数；利用构建的损失函数训练生成对抗网络；利用测试数据集测试训练完的生成器网络，完成少样本文字风格迁移。在多对多字体的风格迁移上表现良好，模型充分提取了风格信息和内容信息，生成的字符笔画更加完整，与真实值更加相近，在多域文字风格迁移中生成更高质量、更和谐的字符图像。

技术领域

本发明属于文字生成方法技术领域，涉及一种基于关联注意力的少样本文字风格迁移方法。

背景技术

在视觉设计中，字体的样式十分重要，不同的字体为视觉设计带来的氛围感完全不同。然而，设计一种新的字体是一项费时费力的工作，不仅需要考虑诸多因素，如笔画、纹理、颜色等，而且，所有字符都需要保持一致的风格和适当的大小。创作字库从画稿到上线，是设计师团队通力合作、一笔一画调整修改而来，一套适合推广、商用的字体需要2-3年，其中绝大部分的时间用在从基本字形向上千字形的扩充、拼组、调试上，且这部分工作由较高素质的字体设计师完成，是一项重复性、严谨的工作，另外字体设计师花费极大的精力用在遵循设定好的框架、规则中去完成工作，没有创作的空间。通常字体设计师为拉丁字母设计一种字体通常几周或者几个月的时间，对于某些语言(如汉语和朝鲜语)，他们包含大量字符(汉语最多50000个字，朝鲜语最多11172个字符)，所以如何更高效的设计一套风格化字体成为一个急需解决的任务。

随着深度学习(Deep learning)的兴起，无需人工干预的字体自动生成成为可能。字体自动生成可视为字体的风格迁移，旨在通过学习不同字体域之间的映射，保证字体语义内容不变的同时对字体的字形作相应的转换。这极大的缩短了字库的制作时间，降低了制作成本，极大满足文化教育、娱乐传媒和商业等领域的用字需求。尽管基于深度学习的文字风格迁移有了一定的发展，但这些方法在许多实际场景中的应用是不切实际的，如生成手写字库时，收集这类训练样本困难且耗时巨大。而少样本文字风格迁移利用少量的风格参考集生成一套完整的字库，更能符合实际应用要求，具有更高的应用价值，另一方面，大多数多样本任务无法生成训练时未见过的风格字体，当需要对训练时未见过的字体进行风格迁移，重新训练模型是极其费时的。

在少样本文字风格迁移问题中，我们希望通过使用少量风格参考集去生成新的字形，并且不需要额外的微调，例如在测试时仅通过六个风格参考图像生成一套完整风格化字库。为了在少量风格参考集中充分学习到风格特征，当前的主流方法是特征分离引导文字风格迁移，分别使用内容编码器和风格编码器学习内容和风格特征。为了提高字符的生成质量，一些方法为生成模型添加先验信息，将复杂的字形拆解成部件或笔画，还有一些方法通过使用注意力机制关注风格特征的上下文注意力加强特征的提取。但是这些方法未考虑内容编码器提取的内容特征和风格编码器提取的风格特征之间的关联性，这会导致多域字体之间的风格迁移结果较差。

发明内容

本发明的目的是提供一种基于关联注意力的少样本文字风格迁移方法，解决了现有技术中存在的现有字体风格迁移方法的风格特征学习不充分导致风格迁移结果较差的问题。

本发明所采用的技术方案是，基于关联注意力的少样本文字风格迁移方法，包括以下步骤：

步骤1、构建训练数据集和测试数据集；训练数据集包括内容参考集、风格参考集；

步骤2、构建基于关联注意力的生成对抗网络，生成对抗网络包括生成器网路、鉴别器网络；

步骤3、设置损失函数；

步骤4、利用步骤3构建的损失函数训练生成对抗网络；

步骤5、利用测试数据集测试训练完的生成器网络，完成少样本文字风格迁移。

本发明的特点还在于：

步骤2具体包括以下步骤：