[发明专利]从印刷体到手写体的模型自适应文本识别方法和系统

说明书

本发明公开了一种从印刷体到手写体的模型自适应文本识别方法和系统，属于文本识别领域，主要包括以下两个阶段：在第一个阶段，使用印刷体文本数据集预训练出一个文本识别模型。在第二个阶段，基于正学习和负学习使用无标注的手写体图片对预训练得到的文本识别模型进行自适应训练。本发明在预训练模型的基础上基于无标注的手写体数据进行自适应训练，不需要标注额外的手写体数据，并且实现了超越普通印刷体到手写体的域自适应文本识别方法的效果。

技术领域

本发明涉及文本识别领域，具体涉及一种从印刷体到手写体的模型自适应文本识别方法和系统。

背景技术

手写文本，由于不同人的不同书写方式，具有很大的随机性风格。因此手写文本识别是文本识别领域中更为挑战性的任务。印刷体文本图片很容易通过合成模型进行合成，而手写文本图片的标注需要大量的人力物力，目前存在的有标注的手写体文本数据集的规模也比较小。因此，大规模印刷体文本数据集较之于手写体文本数据集更容易获取。

使用大规模印刷体文本数据集训练文本识别模型，然后通过模型自适应基于无标注的手写体文本数据集对模型进行进一步优化是非常省时省力的方式。

目前已有的从印刷体到手写体文本识别域自适应的方法较少，而且都是需要将印刷体数据与手写体数据一同对模型进行训练，并且目前已有的方法效果并不理想。而只从印刷体文本识别模型到手写体文本识别的模型自适应的方法并没有前人进行过研究。

综上所述，之前不存在从印刷体到手写体文本识别模型自适应的方法，目前的技术主要是将印刷体和手写体一同训练的方式，而且效果并不好。

发明内容

本发明的目的在于克服上述技术问题，提供一种从印刷体到手写体的模型自适应文本识别方法和系统，采用的具体技术方案如下：

第一个技术方案，一种从印刷体到手写体的模型自适应文本识别方法，包括如下步骤：

步骤1，获取大规模有标注的印刷体文本图片并统一尺寸，构成印刷体文本数据集；利用印刷体文本数据集对文本识别模型进行预训练，所述的文本识别模型包括正则化转换模块、视觉特征提取模块、序列建模模块和预测模块；

所述的正则化转换模块用于对输入图片进行正则化处理，视觉特征提取模块用于提取输入图片的视觉特征，序列建模模块和预测模块分别用于对输入图片的视觉特征进行编码和解码，生成输入图片中的每一个字符的置信度向量，采用束搜索策略生成每一个字符的最终预测置信度；

步骤2，获取无标注的手写体文本图片并统一尺寸，构成手写体文本数据集；筛选手写体文本数据集中的伪标签手写体图片并构建所有手写体图片的负标签，对步骤1预训练得到的文本识别模型进行二次训练，在所述的二次训练过程中，利用伪标签手写体图片进行正学习，利用负标签手写体图片进行负学习；

步骤3，将一定尺寸的待识别的手写体图片作为步骤2训练好的文本识别模型的输入，得到手写体图片中每一个字符的最终预测置信度并生成文本识别结果。

第二个技术方案，一种从印刷体到手写体的模型自适应文本识别系统，用于实现上述的从印刷体到手写体的模型自适应文本识别方法，所述的模型自适应文本识别系统包括：

文本识别模型模块，其包括正则化转换模块、视觉特征提取模块、序列建模模块和预测模块，所述的正则化转换模块用于对输入图片进行正则化处理，视觉特征提取模块用于提取输入图片的视觉特征，序列建模模块和预测模块分别用于对输入图片的视觉特征进行编码和解码，生成输入图片中每一个字符的置信度；

印刷体文本数据库模块，其用于获取大规模有标注的印刷体文本图片并统一尺寸；

手写体文本数据库模块，其用于获取无标注的手写体文本图片并统一尺寸，筛选手写体文本数据集中的伪标签手写体图片并构建所有手写体图片的负标签；