[发明专利]一种基于特征对齐和熵正则化的域适应文本图像识别方法

说明书

本发明提供一种基于特征对齐和熵正则化的域适应文本图像识别方法，该方法包括：通过编码器将输入的文本行图像转换为隐含表示特征序列，通过解码器转换输出为初始预测文本序列及预测文本序列各字符的预测概率，利用解码器的转换输出和源域样本文本标签计算源域交叉熵损失，极小化求解得到初始识别模型；将源域有文本标签的文本行图像和目标域无文本标签的文本行图像输入初始识别模型，计算域适应学习的总损失函数，极小化求解得到最终识别模型；将待测试的目标域文本行图像输入最终识别模型，得到解码器输出的最终预测文本序列。本发明能够利用源域文本行图像和目标域文本行图像进行域适应学习，提高了模型对目标域样本的识别性能。

技术领域

本发明涉及计算机视觉与机器学习领域，提供了一种基于特征对齐和熵正则化的域适应文本图像识别方法，可应用于手写文本图像识别、场景文本图像识别以及其他序列建模任务。

背景技术

文本图像识别是计算机视觉与机器学习领域的关键技术之一，在基于内容的图像检索、场景理解与分析等方面具有广泛的应用前景。在文本图像识别研究中，手写文本图像识别是一项前沿课题。由于手写文字图像具有多变的书写风格、不同图像质量条件，手写文本图像识别面临多种挑战。随着深度学习技术的兴起，基于深层神经网络的文本图像识别技术逐渐取代了传统方法。但是，深度神经网络在实际应用中还存在一些问题，特别是深度神经网络的监督学习需要大量具有标签的真实图像样本，在与文本识别技术相关的实际应用中难以满足，例如获取大量具有文本标签的手写文本图像样本较为困难。

一种解决上述问题的方法是领域自适应(Domain Adaptation,DA)，或称域适应，用于实现模型从具有标签的监督数据集到无标签的非监督数据集的迁移学习。当前域适应方法主要针对于分类任务，例如单个字符图像识别。在面向文本行图像识别的序列建模任务上，还缺少相应有效的域适应技术解决方案。

发明内容

本发明旨在至少一定程度上解决上述相关技术问题。

为此，本发明的目的在于提出一种基于特征对齐和熵正则化的域适应文本图像识别方法，通过利用源域有文本标签的文本行图像和目标域无文本标签的文本行图像对经预训练得到的初始识别模型进行域适应学习，提高模型对目标域样本的识别性能。

本发明的另一个目的在于提出一种基于特征对齐和熵正则化的域适应文本图像识别装置。

为达上述目的，本发明的基于特征对齐和熵正则化的域适应文本图像识别方法，包括以下步骤：

一种基于特征对齐和熵正则化的域适应文本图像识别方法，所述方法包括：

S1，将源域样本有文本标签的文本行图像作为单路数据按批次输入具有编码器与解码器架构的模型，通过所述编码器将输入的所述文本行图像转换为隐含表示特征序列，通过所述解码器将所述隐含表示特征序列转换输出为初始预测文本序列及所述预测文本序列各字符的预测概率，利用所述解码器的转换输出和源域样本文本标签计算源域交叉熵损失，通过所述源域交叉熵损失极小化求解得到初始识别模型；

S2，将所述源域样本有文本标签的文本行图像和目标域无文本标签的文本行图像作为双路数据按批次输入所述初始识别模型，计算域适应学习的总损失函数，通过所述总损失函数极小化求解得到最终识别模型；其中，所述总损失函数包括：所述源域交叉熵损失、目标域的信息熵正则项和源域与目标域的特征对齐损失；

S3，将待测试的目标域文本行图像输入所述最终识别模型，得到所述解码器输出的最终预测文本序列。

本发明的基于特征对齐和熵正则化的域适应文本图像识别方法，将域适应方法引入文本行图像识别，结合特征分布统计量对齐和降低预测结果的信息熵，提高模型对实际样本的适应能力。

另外，本发明上述的基于特征对齐和熵正则化的域适应文本图像识别方法，还可以具有以下附加的技术特征：