[发明专利]一种基于对比学习的文本识别方法与系统

说明书

本发明给出了一种基于对比学习的文本识别方法与系统，包括无标签的文本图像样本，对其中每个样本进行数据增强输入卷积网络进行识别训练生成识别模型，再基于所述识别模型构建基本编码器来计算并输出特征序列；将所述特征序列输入实例映射函数生成对应的实例再映射为多个子实例，将所有的子实例作为对比损失函数中的子元素进行对比学习，将结果反馈到所述卷积网络用于更新所述卷积网络；获取包含文本信息的有标签的文本图像样本输入所述基本编码器，对所述卷积网络的参数进行调节直到所述识别模型收敛。本方法将对比学习应用于序列的各个元素，充分利用无标注数据学习有效的表征信息，再基于自监督对比学习的方法进行建模，显著提高了识别效果。

技术领域

本发明涉及文本识别技术领域，尤其是一种基于对比学习的文本识别方法与系统。

背景技术

近年来，深度学习已被广泛应用于图像分类、目标检测和分割等领域，随之也带来了数据标注成本高、耗费时间长等问题，如何利用好大量无标注数据进行自监督学习成了当前的研究热点。自监督学习能够从大规模的无标注数据集中挖掘自身的监督信息，并通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征信息。

在半监督计算机视觉应用领域如图像分类、目标检测和分割等利用自监督对比学习表征信息的技术取得了显著成果。然而，在文本识别领域里由于文本序列的特殊性未得到较好的应用。目前大多数文本识别算法仍然依赖于全监督学习，需要大量带标签的数据进行建模。

因此，在没有人工监督的条件下如何高效地学习基于序列性的文本信息表征是一个长期存在的问题。

当前主流的自监督的学习方法可分为生成式或判别式两大类。生成式方法学习在输入空间中生成或以其他方式建模像素。然而，像素级生成在计算上是昂贵的，并且可能不是表征学习所必需的。判别方法使用类似于监督学习的目标函数来学习表示，其中输入和标签都来自未标记的数据集。许多此类方法都依赖于启发式来设计任务，这可能会限制所学表征的通用性。但是，潜在空间对比学习的判别方法近年来取得了较先进的成果，且对比学习不依赖于复杂的网络结构和昂贵的计算机硬件，它的实现方法简单高效。但是，当前的对比学习方法仅适用于以整张图像为单个实例的图像分类、图像分割和图像识别中，在含有序列性的文本识别方法中表现不佳。

发明内容

本发明提出了一种基于对比学习的文本识别方法与系统，以解决上文提到的现有技术的缺陷。

在一个方面，本发明提出了一种基于对比学习的文本识别方法，该方法包括以下步骤：

S1：获取包含文本信息的无标签的文本样本，以图像的形式将所述文本样本保存为文本图像样本，再对所述文本图像样本中的每个样本进行数据增强获得增强后的样本；

S2：将所述增强后的样本输入卷积网络进行识别训练生成识别模型，再基于所述识别模型构建基本编码器来计算并输出所述增强后的样本的特征序列；

S3：将所述特征序列输入实例映射函数生成对应的实例，并将所述实例映射为多个子实例，每个子实例包括正样本对和负样本对，将所有的子实例作为对比损失函数中的子元素进行对比学习，同时将所述对比学习的结果反馈到所述卷积网络用于更新所述卷积网络；

S4：获取包含文本信息的有标签的文本样本，以图像的形式将所述文本样本保存为有标签文本图像样本，将所述有标签文本图像样本输入所述基本编码器，对所述卷积网络的参数进行调节，直到所述识别模型收敛。