[发明专利]文本图像合成方法、装置、设备及存储介质

权利要求书

1.一种文本图像合成方法，其特征在于，包括：

获取目标文本图像和目标文本样式图像；

将所述目标文本图像和所述目标文本样式图像输入文本合成网络中，得到所述文本合成网络输出的合成文本图像；

其中，所述合成文本图像中的文本为所述目标文本图像中的目标文本，所述合成文本图像中的文本样式为所述目标文本样式图像中的文本样式，所述文本合成网络是经过文本识别模块辅助训练过的，所述文本识别模块用于识别图像中的文本信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练文本图像和训练文本样式图像；

将所述训练文本图像和训练文本样式图像输入所述文本合成网络，且以所述文本识别模块为监督模块，对所述文本合成网络进行端到端的训练。

3.根据权利要求2所述的方法，其特征在于，所述文本识别模块在所述文本合成网络训练之前已训练完成。

4.根据权利要求3所述的方法，其特征在于，所述文本合成网络包括文本转换模块，所述文本转换模块用于将所述训练文本图像中的训练文本的文本样式转换为所述训练文本样式图像中的文本样式，所述将所述训练文本图像输入所述文本合成网络，且以所述文本识别模块为监督模块，对所述文本合成网络进行端到端的训练，包括：

将所述训练文本图像和所述训练文本样式图像输入所述文本转换模块中，得到所述文本转换模块输出的第一图像，所述第一图像中的文本为所述训练文本图像中的文本，所述第一图像中的文本样式为所述训练文本样式图像中的文本样式；

将所述第一图像输入所述文本识别模块，得到所述文本识别模块输出的文本信息；

根据所述文本识别模块输出的文本信息和所述训练文本图像的文本信息之间差异，对所述文本合成网络进行端到端的训练。

5.根据权利要求4所述的方法，其特征在于，所述根据所述文本识别模块输出的文本信息和所述训练文本图像的文本信息之间差异，对所述文本合成网络进行端到端的训练，包括：

获取所述文本转换模块的中间层输出的文本骨架图像；

根据所述第一图像和所述文本骨架图像之间的差异，得到第一损失；

根据所述文本识别模块输出的文本信息和所述训练文本图像的文本信息之间差异，得到第二损失；

根据所述第一损失和所述第二损失，对所述文本合成网络进行端到端的训练。

6.根据权利要求5所述的方法，其特征在于，所述文本合成网络还包括背景修复模块和融合模块，所述根据所述第一损失和所述第二损失，对所述文本合成网络进行端到端的训练，包括：

将所述训练文本样式图像输入所述背景修复模块，得到所述背景修复模块输出的背景特征图；

将所述第一图像和所述背景特征图输入所述融合模块，得到所述融合模块输出的第二图像，所述第二图像中的所述训练文本的文本样式与所述训练文本样式图像的文本样式一致；

根据所述融合模块输出的所述第二图像与所述训练文本图像和所述训练文本样式图像之间的差异，得到第三损失；

根据所述第一损失、所述第二损失和所述第三损失，对所述文本合成网络进行端到端的训练。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一损失、所述第二损失和所述第三损失，对所述文本合成网络进行端到端的训练，包括：

获得所述背景修复模块输出的背景图像；

根据所述背景修复模块输出的所述背景图像与所述训练文本样式图像之间的差异，得到第四损失；

根据所述第一损失、所述第二损失、所述第三损失和所述第四损失，对所述文本合成网络进行端到端的训练。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第一损失、所述第二损失、所述第三损失和所述第四损失，对所述文本合成网络进行端到端的训练，包括：

将所述第一损失、所述第二损失、所述第三损失和所述第四损失的之和，作为所述文本合成网络的损失；

根据所述文本合成网络的损失，对所述文本合成网络进行端到端的训练。