[发明专利]票据的结构化信息的提取方法及电子设备

权利要求书

1.一种票据的结构化信息的提取方法，其特征在于，包括：

对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；

根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；

针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征；

根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；

根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到所述票据图像的结构化信息。

2.根据权利要求1所述的方法，其特征在于，在所述对票据图像进行光学字符识别之前，所述方法还包括：

采用渐进式训练策略，训练得到质量分类模型；

通过所述质量分类模型对所述票据图像进行模糊判断和完整性判断。

3.根据权利要求2所述的方法，其特征在于，所述对票据图像进行光学字符识别，包括：

当所述质量分类模型输出的模糊判断结果为不模糊以及完整性判断结果为完整时，对所述票据图像进行光学字符识别。

4.根据权利要求1所述的方法，其特征在于，所述根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征，包括：

针对每个文本行，根据所述文本行的位置信息以及其余文本行的位置信息，得到所述文本行相对其余文本行的相对位置特征；

针对每个文本行，根据所述文本行的文本信息，通过已训练的特征提取模型提取所述文本信息的文本语义特征；

针对每个文本行，根据所述文本行的位置信息，将所述位置信息对应的特征图进行感兴趣区域池化操作，得到所述文本行的视觉特征。

5.根据权利要求1所述的方法，其特征在于，所述针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征，包括：

针对每个文本行，基于自注意力机制将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征。

6.根据权利要求1所述的方法，其特征在于，所述根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系，包括：

以每个文本行为节点，任意两个节点之间相连，构建初始结构图；

根据每个文本行的相对位置特征和多模态融合特征，通过图卷积进行所述初始结构图中节点之间边的更新，得到优化后的几何拓扑图；

根据所述几何拓扑图中不同节点之间的连接关系，得到相应文本行之间的关联关系。

7.根据权利要求6所述的方法，其特征在于，所述根据每个文本行的相对位置特征和多模态融合特征，通过图卷积进行所述初始结构图中节点之间边的更新，得到优化后的几何拓扑图，包括：

根据任意两个文本行的相对位置特征和多模态融合特征，计算所述两个文本行对应的节点之间存在边的概率；

当所述概率小于阈值时，去除所述初始结构图中所述两个文本行对应的节点之间存在的边，得到优化后的几何拓扑图。

8.根据权利要求6所述的方法，其特征在于，所述根据每个文本行的相对位置特征和多模态融合特征，通过图卷积进行所述初始结构图中节点之间边的更新，得到优化后的几何拓扑图，包括：

针对任一指定节点，选择与所述指定节点最近的多个邻居节点，根据所述指定节点与邻居节点之间的相对位置特征，所述指定节点的多模态融合特征和所述邻居节点的多模态融合特征进行图卷积，更新所述指定节点与所述邻居节点之间的边，得到优化后的几何拓扑图。