[发明专利]一种基于双模态学习的矢量字体生成方法

说明书

本发明公布了一种基于双模态学习的矢量字体生成方法，构建双模态学习的矢量字体生成模型DeepVecFont，包括图像编码器、序列编码器、图像解码器、序列解码器；通过学习少量参考字符的字形矢量图和字形位图两个模态的风格特征并进行模态融合，得到融合后统一的字体风格特征；再将融合后的字体风格特征输送到序列解码器和图像解码器中生成目标字符的矢量图和位图；进一步可通过可微分栅格化方法修正矢量字形，对生成的目标字符的字形矢量图进行修正，即得到矢量字体。本发明方法利用了字形位图和矢量图两种模态信息，并可修正生成的矢量字形中存在位置偏移问题，提升矢量字体生成的性能和精度。

技术领域

本发明属于计算机图形学和计算机视觉技术领域，涉及图形和图像生成方法，尤其涉及一种基于双模态学习的生成矢量字体的方法。

背景技术

在计算机图形学和计算机视觉技术领域，字体生成是指利用计算机模型根据给定的条件自动地生成期望的字体，包含但不局限于以下三种场景：(1)给定某种字体风格的少量字符的形状，字体生成计算机模型自动地生成符合给定风格的其他所有字符的形状，从而形成完整的字体；(2)给定两种不同风格的字体，字体生成计算机模型对这两种风格进行融合(插值)，得到糅合了这两种风格的新的字体；(3)字体生成计算机模型从学习到的字体风格的分布空间(隐空间)中采样，得到新风格的字体。

字体生成对于图形设计、媒体内容创作等领域具有重要的意义。现有传统的字体设计过程需要设计师的专业知识、灵感和经验，以及耗费设计师大量的工作时间，使用字体生成模型可以辅助或者替代设计师完成字体设计工作，可以极大地提升内容产出的效率。近年来，基于人工智能的字体生成问题引起了学术界广泛的兴趣，然而，学术界大多数提出的方法仅仅能够生成字形图像(glyph image，又称字形位图)，并不能够直接生成矢量字体(vector font)。矢量字体由每个字符的字形矢量图构成，每个字形矢量图是通过参数曲线来描述的，它包含了字形轮廓上的关键点，控制点等信息，渲染引擎通过读取这些数学矢量，然后进行一定的数学运算来进行渲染，其优点是字体实际尺寸可以任意缩放而不模糊。然而，传统的字形图像矢量化过程较为繁琐，需要设置较多的方法定义，且人工干预的操作较多，非常耗时耗力。并且，模型生成的字形图像质量成为矢量化结果的瓶颈，即模型生成的字形图像中的瑕疵往往会被保留到矢量化的结果中，影响生成矢量字体的精度。