[发明专利]图像文字擦除方法

说明书

本发明属于图像处理技术领域，且公开了图像文字擦除方法，具体操作步骤如下：S1、利用合成数据集训练图像笔划模型，其中合成数据通过在背景图像上贴上文字生成文字图像；S2、利用未标注的真实场景文字文字图像预训练网络模型。本发明提出了一种利用文字笔划的基于自监督学习的图像文字擦除方法，将图像笔划模型的输出与原始图像合并输入到图像文字擦除模型中，经过迭代式的擦除策略得到最后的擦除结果；此外，考虑到文字擦除与文字检测有较强的相关性，设计一种同时进行文字擦除与文字检测任务的神经网络模型，本发明可以解决现阶段文字擦除方法过度依赖于合成数据、擦除结果不自然以及不能完全擦除文字的问题。

技术领域

本发明属于图像处理技术领域，具体为图像文字擦除方法。

背景技术

图像文字擦除，是指对图像上的文字进行擦除，利用背景内容填充文字区域，图像文字擦除在隐私保护，身份信息篡改，数据增广等领域有着广泛的应用和研究前景。

现有技术中该类图像文字擦除方法大致包括三类：

1、利用Photoshop等工具擦除文字图像上的文字内容是最直观的一种手段，这类工具利用文字周边的背景内容替换文字信息，达到文字去除的效果；该方法利用人工手段进行图像文字的擦除，会耗费大量的时间与精力，擦除速度完全取决于人工；

2、现阶段主流的文字擦除方法采用编码器-解码器网络，将带文字的图像作为初始输入，擦除文字的图像作为训练目标，训练数据采用合成的数据；该方法缺少文字定位信息，不能很好的确定文字所在的区域位置，会残留大量的未擦除的文字内容。同时，合成数据与真实场景的数据间存在偏差，利用合成数据训练的文字擦除器鲁棒性不够好；

3、现阶段另一主流的文字擦除方法采用二阶段的方式，首先利用文字检测器获取文字的区域，之后利用图像填充方法对文字区域进行背景内容的填充；二阶段的文字擦除方法需要分别训练文字检测模型与文字擦除模型，流程较为繁琐，同时，相比单阶段的文字擦除方法，二阶段的方法生成的擦除图像在文字区域部分不太真实自然。

因此针对上述问题，本申请提出了新的图像文字擦除方法。

发明内容

本发明的目的在于提供图像文字擦除方法，以解决上述背景技术中提出的现阶段图像文字擦除方法过于依赖合成数据，擦除结果不自然以及图像文字残留的问题。

为了实现上述目的，本发明提供如下技术方案：图像文字擦除方法，具体操作步骤如下：

S1、利用合成数据集训练图像笔划模型，其中合成数据通过在背景图像上贴上文字生成文字图像；

S2、利用未标注的真实场景文字图像预训练网络模型；

S3、初始的擦除结果上面会残留部分文字，因此采用迭代式策略擦除文字，将初始的擦除结果和图像笔划继续合并输入到图像擦除模型中，如此反复直到完成文字的擦除；

S4、一般地，增强的图像变体保留了原始图像的文字信息，将图像变体与图像文字擦除的结果相减获取到的图像笔划是一致的，利用该隐式信息自监督训练文字擦除模型；

S5、利用带标注的真实文字图像进一步的进行模型的训练，原始图像经过图像笔划模型与图像文字擦除模型，经过迭代式的擦除操作得到最后的擦除结果，将得到的擦除结果与真实标签进行对比，得到最后的擦除模型。

优选地，S1步骤中图像笔划模型所需的标签通过文字图像减去背景图像计算得到，像素值差值得绝对值大于阈值的部分设置为0，小于阈值的部分设置为1。

优选地，S2步骤中将图像变体输入到S1步骤中训练得到的图像笔划模型得到图像笔划结果，并将图像笔划结果和增强的图像合并输入到图像文字擦除模型中，得到初始的擦除结果。

优选地，S4步骤中利用自监督学习的方法进行模型训练时，图像笔划模型的参数是固定的，仅仅训练图像文字擦除模型。