[发明专利]一种基于特征对齐和熵正则化的域适应文本图像识别方法

权利要求书

1.一种基于特征对齐和熵正则化的域适应文本图像识别方法，其特征在于，所述方法包括：

S1，将源域样本有文本标签的文本行图像作为单路数据按批次输入具有编码器与解码器架构的模型，通过所述编码器将输入的所述文本行图像转换为隐含表示特征序列，通过所述解码器将所述隐含表示特征序列转换输出为初始预测文本序列及所述预测文本序列各字符的预测概率，利用所述解码器的转换输出和源域样本文本标签计算源域交叉熵损失，通过所述源域交叉熵损失极小化求解得到初始识别模型；

S2，将所述源域样本有文本标签的文本行图像和目标域无文本标签的文本行图像作为双路数据按批次输入所述初始识别模型，计算域适应学习的总损失函数，通过所述总损失函数极小化求解得到最终识别模型；其中，所述总损失函数包括：所述源域交叉熵损失、目标域的信息熵正则项和源域与目标域的特征对齐损失；

S3，将待测试的目标域文本行图像输入所述最终识别模型，得到所述解码器输出的最终预测文本序列。

2.根据权利要求1所述的方法，其特征在于，所述目标域的信息熵正则项的计算方法，包括：

对于按批次输入所述初始识别模型的目标域文本行图像，利用所述解码器的输出预测文本序列及所述预测文本序列各字符的预测概率，根据信息熵的定义计算每批次目标域数据的平均信息熵，作为所述目标域的信息熵正则项。

3.根据权利要求1所述的方法，其特征在于，所述源域与目标域的特征对齐损失的计算方法，包括：

将源域与目标域双路数据按批次输入所述初始识别模型，对于所述编码器提取的隐含表示特征序列，分别计算每路数据隐含表示特征序列中特征向量的一阶统计量和二阶统计量，得到所述双路数据之间一阶和二阶统计量的差异总和，作为所述源域与目标域的特征对齐损失。

4.根据权利要求1所述的方法，其特征在于，所述源域交叉熵损失的计算方法，包括：

对于所述解码器输出的源域样本预测文本序列中的每一字符及对应的预测概率，利用所述源域样本文本标签中对应的字符真值，计算每批次源域数据的平均交叉熵作为所述源域交叉熵损失。

5.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

对所述源域样本文本标签进行预处理，统计所述源域样本文本标签中的字符集合，并在所述字符集合和所述文本标签中添加控制符号；

对每张文本行图像进行预处理，将文本行图像的像素值动态范围线性变换到预设区间，并将所述每张文本行图像在保持图像宽高比不变条件下，将图像高度归一化到预设高度。

6.一种基于特征对齐和熵正则化的域适应文本图像识别装置，其特征在于，包括：

初始识别模型获取模块，用于将源域样本有文本标签的文本行图像作为单路数据按批次输入具有编码器与解码器架构的模型，通过所述编码器将输入的所述文本行图像转换为隐含表示特征序列，通过所述解码器将所述隐含表示特征序列转换输出为初始预测文本序列及所述预测文本序列各字符的预测概率，利用所述解码器的转换输出和源域样本文本标签计算源域交叉熵损失，通过所述源域交叉熵损失极小化求解得到初始识别模型；

最终识别模型获取模块，用于将所述源域样本有文本标签的文本行图像和目标域无文本标签的文本行图像作为双路数据按批次输入所述初始识别模型，计算域适应学习的总损失函数，通过所述总损失函数极小化求解得到最终识别模型；其中，所述总损失函数包括：所述源域交叉熵损失、目标域的信息熵正则项和源域与目标域的特征对齐损失；

文本预测模块，用于将待测试的目标域文本行图像输入所述最终识别模型，得到所述解码器输出的最终预测文本序列。

7.根据权利要求6所述的装置，其特征在于，所述最终识别模型获取模块，包括：

信息熵正则项计算模块，用于对于按批次输入所述初始识别模型的目标域文本行图像，利用所述解码器的输出预测文本序列及所述预测文本序列各字符的预测概率，根据信息熵的定义计算每批次目标域数据的平均信息熵，作为所述目标域的信息熵正则项。