[发明专利]从印刷体到手写体的模型自适应文本识别方法和系统

权利要求书

1.一种从印刷体到手写体的模型自适应文本识别方法，其特征在于，包括如下步骤：

步骤1，获取大规模有标注的印刷体文本图片并统一尺寸，构成印刷体文本数据集；利用印刷体文本数据集对文本识别模型进行预训练，所述的文本识别模型包括正则化转换模块、视觉特征提取模块、序列建模模块和预测模块；

所述的正则化转换模块用于对输入图片进行正则化处理，视觉特征提取模块用于提取输入图片的视觉特征，序列建模模块和预测模块分别用于对输入图片的视觉特征进行编码和解码，生成输入图片中的每一个字符的置信度向量，采用束搜索策略生成每一个字符的最终预测置信度；

步骤2，获取无标注的手写体文本图片并统一尺寸，构成手写体文本数据集；筛选手写体文本数据集中的伪标签手写体图片并构建所有手写体图片的负标签，对步骤1预训练得到的文本识别模型进行二次训练，在所述的二次训练过程中，利用伪标签手写体图片进行正学习，利用负标签手写体图片进行负学习；

所述的伪标签手写体图片的筛选方法为：

利用步骤1中的预训练模型对手写体文本数据集中的所有手写体文本图片进行处理，生成每一个手写体文本图片的所有字符的最终预测置信度，计算所有字符的最终预测置信度的均值，将均值大于阈值的手写体文本图片标记为伪标签；

由于文本识别模型中的预测模块在基于束搜索策略的解码过程中改变了部分字符的最终预测标签，排除被改变标签的字符对应的最终预测置信度，计算其余字符最终预测置信度的均值，将均值大于阈值的手写体文本图片标记为伪标签；

利用正学习方法，结合所有标记为伪标签的手写体文本图片对文本识别模型进行训练；

所述的所有手写体图片的负标签构建方法为：

利用步骤1中的预训练模型对手写体文本数据集中的所有手写体文本图片进行处理，生成所有手写体文本图片中的每一个字符的置信度向量和最终预测置信度，将置信度向量中的值从大到小排序，并将处于第二、第三、第四位置处的置信度作为字符的初始负标签；

判断初始负标签中是否包括最终预测置信度，若包括，则说明文本识别模型中的预测模块在基于束搜索策略的解码过程中改变了该字符的最终预测标签，需要剔除被改变标签的字符对应的负标签，得到筛选后的每一个字符的最终负标签；

利用负学习方法，结合所有手写体文本图片对应的负标签，对文本识别模型进行训练；

步骤3，将一定尺寸的待识别的手写体图片作为步骤2训练好的文本识别模型的输入，得到手写体图片中每一个字符的最终预测置信度并生成文本识别结果。

2.根据权利要求1或所述的一种从印刷体到手写体的模型自适应文本识别方法，其特征在于，在步骤2所述的二次训练过程中，将预训练得到的正则化转换模块、视觉特征提取模块参数作为初始化参数，且将初始化参数作为二次训练的待优化参数；将预训练得到的序列建模模块、预测模块参数固定，在二次训练过程中不做更新。

3.根据权利要求1或所述的一种从印刷体到手写体的模型自适应文本识别方法，其特征在于，在步骤2所述的利用伪标签手写体图片进行正学习的过程中，采用交叉熵损失函数进行训练，训练目标是最大化伪标签对应的最终预测置信度；利用负标签手写体图片进行负学习的过程中，采用最大似然损失函数进行训练，训练目标是最小化所有负标签对应的置信度，并将两种损失函数的加权损失值作为最终损失。

4.根据权利要求1所述的一种从印刷体到手写体的模型自适应文本识别方法，其特征在于，所述的序列建模模块采用双向长短期记忆模型进行编码。

5.根据权利要求1所述的一种从印刷体到手写体的模型自适应文本识别方法，其特征在于，所述的预测模块采用基于注意力机制的序列预测方法进行解码，所述的注意力机制用于获取当前预测字符的上下文向量，解码时结合当前预测字符的上下文向量和上一时刻的预测字符，得到当前预测字符的置信度向量。