[发明专利]一种图像生成方法、装置、电子设备和存储介质

说明书

一种图像生成方法、装置、电子设备和存储介质，该方法通过获取真实场景文本图片，并获取待模拟所述真实场景文本图片中文本风格的目标文字；将所述真实场景文本图片和所述目标文字输送至文本风格迁移模型，通过所述文本风格迁移模型获得所述目标文字对应的风格迁移图片；将所述真实场景文本图片输送至文本背景分离模型，通过所述文本背景分离模型获得去除所述真实场景文本图片中文字信息的场景图片；采用文本图像融合生成模型对所述风格迁移图片和所述场景图片进行融合，使所述目标文字的风格迁移图片中包括所述场景图片的场景信息。本发明可以自动进行文本风格转移，可生成贴近真实场景的数据，无需人工标注和采集，成本低，实际应用效果好。

技术领域

本发明属于文本图像处理技术领域，具体涉及一种图像生成方法、装置、电子设备和存储介质。

背景技术

文本风格迁移是自然语言处理领域的热点问题之一，目的是在保留文本内容的基础上，通过编辑或生成的方式更改文本的特定风格或属性。

CN112418224B公开了一种基于机器学习的通用OCR的训练数据生成系统及方法，该方法从语料库中随机抽取5 10个文字作为文字信息；从字体库中随机选择字体生成字体信息；从图片库中随机抽取背景图片，依据通过字体信息生成的文字信息对图片进行裁剪；对图片背景的像素RGB值进行聚类算法分析找到聚类中心，然后从文字颜色库中随机抽取颜色，计算每种颜色到背景颜色值聚类中心的RGB值的距离再从距离最远的颜色中随机选取文字颜色；将文字信息、字体信息、背景图片、文字颜色结合生成可直接用于文本识别模型训练的图片，该方法采用真实场景背景图片，通过聚类分析来添加字体颜色，实现对文字识别模型的真实训练图片的自动模拟生成。

现有技术中，在进行文本风格迁移时，需要生成与真实场景相似的OCR数据，用于模型训练，需要进行人工采集和标注，成本较高，耗时长，且生成的文本图片风格，与真实场景相差较大，限制了模型在真实场景的使用效果。

发明内容

为此，本发明提供一种图像生成方法、装置、电子设备和存储介质，解决传统方案需要人工标注和采集样本，成本较高，且文本图片风格与真实场景相差较大的问题。

为了实现上述目的，本发明提供如下技术方案：第一方面，提供一种图像生成方法，包括以下步骤：

获取真实场景文本图片，并获取待模拟所述真实场景文本图片中文本风格的目标文字；

将所述真实场景文本图片和所述目标文字输送至文本风格迁移模型，通过所述文本风格迁移模型获得所述目标文字对应的风格迁移图片；

将所述真实场景文本图片输送至文本背景分离模型，通过所述文本背景分离模型获得去除所述真实场景文本图片中文字信息的场景图片；

采用文本图像融合生成模型对所述风格迁移图片和所述场景图片进行融合，使所述目标文字的风格迁移图片中包括所述场景图片的场景信息。

作为图像生成方法的优选方案，待模拟所述真实场景文本图片中文本风格包括字体、颜色、位置及规模大小；

所述目标文字对应的风格迁移图片为具有所述真实场景文本图片中文本风格的纯色文本图片。

作为图像生成方法的优选方案，所述文本风格迁移模型通过所述真实场景文本图片的通道数、高度信息和宽度信息，利用第一卷积神经网络进行上采样操作获得所述目标文字对应的风格迁移图片。

作为图像生成方法的优选方案，所述文本背景分离模型通过所述真实场景文本图片的通道数、高度信息和宽度信息，利用第二卷积神经网络进行上采样操作获得去除所述真实场景文本图片中文字信息的场景图片。

作为图像生成方法的优选方案，所述文本图像融合生成模型通过激活函数对所述风格迁移图片和所述场景图片进行拼接操作。

第二方面，本发明提供一种图像生成装置，包括：