[发明专利]一种基于对比学习的文本识别方法与系统

权利要求书

1.一种基于对比学习的文本识别方法，其特征在于，包括以下步骤：

S1：获取包含文本信息的无标签的文本样本，以图像的形式将所述文本样本保存为文本图像样本，再对所述文本图像样本中的每个样本进行数据增强获得增强后的样本；

S2：将所述增强后的样本输入卷积网络进行识别训练生成识别模型，再基于所述识别模型构建基本编码器来计算并输出所述增强后的样本的特征序列；

S3：将所述特征序列输入实例映射函数生成对应的实例，并将所述实例映射为多个子实例，每个子实例包括正样本对和负样本对，具体包括：

利用实例映射函数对所述特征序列生成对应的实例，并将每个所述实例映射为多个子实例并按顺序标注索引；

对每一个实例获取对齐的正样本对和负样本对，并对所述每一个实例添加不同的两个集合分别储存所述正样本对和所述负样本对，获得所述正样本对的集合以及所述负样本对的集合，记录每个集合的大小；

将所有的子实例作为对比损失函数中的子元素进行对比学习，同时将所述对比学习的结果反馈到所述卷积网络用于更新所述卷积网络，所述对比学习包括：

将所述正样本对和所述负样本对作为所述对比损失函数中的子元素，从而计算所述对比损失函数；

通过所述对比损失函数提高同一个所述实例对应的所述特征序列的相似度，提高同一个所述实例对应的所述正样本对的相似度，同时降低所述正样本对和所述负样本对之间的以及不同所述负样本对之间的相似度；

S4：获取包含文本信息的有标签的文本样本，以图像的形式将所述文本样本保存为有标签文本图像样本，将所述有标签文本图像样本输入所述基本编码器，对所述卷积网络的参数进行调节，直到所述识别模型收敛。

2.根据权利要求1所述的方法，其特征在于，所述数据增强包括：模糊、高斯噪声添加、明亮度调节、边缘填充、仿射变换、水平裁剪和垂直裁剪。

3.根据权利要求1所述的方法，其特征在于，所述文本图像样本包括图像序列的集合,所述图像序列包括多个按顺序排列的子图像，所述子图像的个数根据所述图像序列的宽度设定。

4.根据权利要求1所述的方法，其特征在于，所述基本编码器包括Resnet-34主干网络。

5.根据权利要求1所述的方法，其特征在于，所述基本编码器的编码器头部使用网络层变换表示形式来处理所述特征序列中大小不同的序列。

6.根据权利要求1所述的方法，其特征在于，所述将所述有标签文本图像样本输入所述基本编码器之后还包括使用CTC解码器对所述基本编码器的输出进行解码。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被计算机处理器执行时实施权利要求1至6中任一项所述的方法。

8.一种基于对比学习的文本识别系统，其特征在于，包括：

文本图像获取与增强模块：配置用于获取包含文本信息的无标签的文本样本，以图像的形式将所述文本样本保存为文本图像样本，再对所述文本图像样本中的每个样本进行数据增强获得增强后的样本；

特征提取模块：配置用于将所述增强后的样本输入卷积网络进行识别训练生成识别模型，再基于所述识别模型构建基本编码器来计算并输出所述增强后的样本的特征序列；

正负样本对比学习模块：配置用于将所述特征序列输入实例映射函数生成对应的实例，并将所述实例映射为多个子实例，每个子实例包括正样本对和负样本对，具体包括：

利用实例映射函数对所述特征序列生成对应的实例，并将每个所述实例映射为多个子实例并按顺序标注索引；

对每一个实例获取对齐的正样本对和负样本对，并对所述每一个实例添加不同的两个集合分别储存所述正样本对和所述负样本对，获得所述正样本对的集合以及所述负样本对的集合，记录每个集合的大小；

将所有的子实例作为对比损失函数中的子元素进行对比学习，同时将所述对比学习的结果反馈到所述卷积网络用于更新所述卷积网络，所述对比学习包括：

将所述正样本对和所述负样本对作为所述对比损失函数中的子元素，从而计算所述对比损失函数；

通过所述对比损失函数提高同一个所述实例对应的所述特征序列的相似度，提高同一个所述实例对应的所述正样本对的相似度，同时降低所述正样本对和所述负样本对之间的以及不同所述负样本对之间的相似度；

识别模型调节模块：配置用于获取包含文本信息的有标签的文本样本，以图像的形式将所述文本样本保存为有标签文本图像样本，将所述有标签文本图像样本输入所述基本编码器，对所述卷积网络的参数进行调节，直到所述识别模型收敛。