[发明专利]一种基于双模态学习的矢量字体生成方法

权利要求书

1.一种基于双模态学习的矢量字体生成方法，其特征是，构建双模态学习的矢量字体生成模型DeepVecFont，包括图像编码器、序列编码器、图像解码器、序列解码器；通过学习少量参考字符的字形矢量图和字形位图两个模态的风格特征并进行模态融合，得到融合后统一的字体风格特征；再将融合后的字体风格特征输送到序列解码器和图像解码器中生成目标字符的矢量图和位图；进一步可通过可微分栅格化方法修正矢量字形，对生成的目标字符的字形矢量图进行修正，即得到矢量字体；包括如下步骤：

1)将参考字符的字形图像送至图像编码器，用于学习字形图像层面的字体风格特征，记为f^img；

2)将这些参考字符的绘制序列送至序列编码器中，用于学习字形绘制序列层面的字体风格特征，记为f^seq；

3)通过模态融合策略融合f^img和f^seq，学习得到字形图像和字形绘制序列两种模态联合表示的特征，记为f；所述模态融合策略采用拼接+多层感知机；所述两种模态联合表示的特征f所在的空间为被KL损失项约束的隐空间；

4)将学习到的两种模态联合表示的特征f送到图像解码器中，重建目标字形的图像，重建得到的图像记为

5)将学习到的两种模态联合表示的特征f送至序列解码器中，预测目标矢量字形的每条绘制指令参数潜在的分布Γ_t；

6)再使用可微分栅格化方法修正从Γ_t采样得到的矢量字形；

在DeepVecFont模型的训练阶段，输入的参考字形的字符种类和目标字形的字符种类均从字符集随机采样得到；DeepVecFont模型训练的损失函数包括目标字形图像的重建损失、目标字形绘制序列的类别和坐标重建损失，生成字形绘制序列栅格化后的图像重建损失，以及双模态融合后的特征空间的规范性损失；所述可微分栅格化方法具体使用神经可微分栅格化器NDR，将生成的绘制序列栅格化得到的图像，向真实的字形图像进行对齐，对生成的绘制序列进行修正；执行上述步骤1)～6)，即得到训练好的DeepVecFont模型；

在DeepVecFont模型的推理阶段，利用训练好的DeepVecFont模型，遍历字符集，得到目标字形的矢量字体；所述可微分栅格化方法具体采用diffvg方法，将生成的绘制序列栅格化得到的图像，向步骤4)生成的字形图像进行对齐，即对生成的绘制序列进行修正；

通过上述步骤，即实现基于双模态学习的矢量字体的生成。

2.如权利要求1所述基于双模态学习的矢量字体生成方法，其特征是，字符集可采用英文a-z，A-Z或中文6763个常见汉字字符集。

3.如权利要求1所述基于双模态学习的矢量字体生成方法，其特征是，所述图像编码器采用卷积神经网络模型结构，模型中每个特征通道为并行计算；将所有参考字形的图像进行通道维度的拼接操作，再送入图像编码器，即学习得到图像层面的字体风格特征f^img。

4.如权利要求1所述基于双模态学习的矢量字体生成方法，其特征是，所述序列编码器采用长短时记忆网络模型结构，采用如下编码方式编码绘制序列：

首先，将每个参考字形的矢量绘制序列并行地送入序列编码器，并得到编码后的特征；

接着，通过线性映射将得到编码后的特征映射为字形绘制序列层面的全局的字体风格特征f^seq。

5.如权利要求1所述基于双模态学习的矢量字体生成方法，其特征是，所述图像解码器采用反卷积神经网络结构；将f和目标字形的字符类别t送到图像解码器中，得到目标字形图像；采用L1范数损失函数和感知损失函数联合监督生成字形图像的重建。