[发明专利]票据的结构化信息的提取方法及电子设备

说明书

本申请提供一种票据的结构化信息的提取方法及电子设备，该方法包括：对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；针对每个文本行，将文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到文本行的多模态融合特征；根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到票据图像的结构化信息。从而无需为每一种票据单独定制一种模板，提升了票据结构化信息提取的自动化程度。

技术领域

本申请涉及图像处理技术领域，特别涉及一种票据的结构化信息的提取方法及电子设备。

背景技术

近年来，随着我国医疗信息化的不断深入发展，医疗票据电子化已然成为一种趋势。但由于报销单位无法直接获取用户的医疗详细信息，导致用户在报销时需提交原始医疗单据，然后由报销人员手工录入系统，逐项核对后按照特定的报销比例和报销金额进行报销。在手工录入过程中存在很多的弊端，一方面是人工录入会不可避免的出现漏项错项问题，另一方面需配置大量人力资源进行高度重复性工作，这不仅会给医疗工作人员带来很大的压力，导致报销流程耗时费力且效率低。

对于票据结构化识别，在OCR(Optical Character Recognition，光学字符识别)技术把图像中的文字信息识别出来以后，需要考虑根据票据的结构化信息把文字识别结果进行结构化处理，形成医疗票据明细结果。但是，现有的技术中，结构化是基于模板规则实现，即使是同一种票据，如住院发票，需要定制一个模板，这无疑限制其应用。此外，这类基于模板规则实现的方法，对图片质量要求较高，具体来说，就是待结构化识别的新票据图片数据，要和模板保持尽可能的一致。因此，无法采用现有的方法完成自动的结构化处理。

发明内容

本申请实施例提供了一种票据的结构化信息的提取方法装置、存储介质及电子设备，无需为每一种票据单独定制模板，提高了票据的结构化信息提取的自动化程度。

本申请实施例提供了一种票据的结构化信息的提取方法，包括：

对票据图像进行光学字符识别，获得每个文本行的位置信息和文本信息；

根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征；

针对每个文本行，将所述文本行的相对位置特征、文本语义特征和视觉特征进行特征融合，得到所述文本行的多模态融合特征；

根据每个文本行的多模态融合特征和相对位置特征，确定不同文本行之间的关联关系；

根据不同文本行之间的关联关系，将存在关联关系的文本行的文本信息进行组合输出，得到所述票据图像的结构化信息。

在一实施例中，在所述对票据图像进行光学字符识别之前，所述方法还包括：

采用渐进式训练策略，训练得到质量分类模型；

通过所述质量分类模型对所述票据图像进行模糊判断和完整性判断。

在一实施例中，所述对票据图像进行光学字符识别，包括：

当所述质量分类模型输出的模糊判断结果为不模糊以及完整性判断结果为完整时，对所述票据图像进行光学字符识别。

在一实施例中，所述根据每个文本行的位置信息和文本信息，获得每个文本行的相对位置特征、文本语义特征和视觉特征，包括：

针对每个文本行，根据所述文本行的位置信息以及其余文本行的位置信息，得到所述文本行相对其余文本行的相对位置特征；

针对每个文本行，根据所述文本行的文本信息，通过已训练的特征提取模型提取所述文本信息的文本语义特征；