[发明专利]一种票据文本识别方法、装置、计算机设备及存储介质

权利要求书

1.一种票据文本识别方法，其特征在于，包括下述步骤：

获取待识别的票据图像；

通过预设的识别定位模型对所述票据图像进行文本识别，得到文本信息和对应的布局信息；

通过预设的多模态transformer模型对所述文本信息进行命名实体抽取，得到对应的多个命名实体；

基于预设配对规则，结合所述多个命名实体和所述布局信息构建实体对的候选集；

通过预设的关联判断模型对每个所述实体对是否存在关联进行判断；

将判断结果为存在关联的实体对进行合并，得到合并文本。

2.根据权利要求1所述的票据文本识别方法，其特征在于，在所述通过预设的识别定位模型对所述票据图像进行文本识别的步骤之前，还包括：

对所述票据图像是否存在偏转进行判断；

若存在偏转，则对所述票据图像进行旋转操作，得到正向的所述票据图像。

3.根据权利要求1或2所述的票据文本识别方法，其特征在于，在所述通过预设的识别定位模型对所述票据图像进行文本识别的步骤之前，还包括：

将所述票据图像输入预设的语义分割模型，得到对应的掩码图；

提取所述掩码图的连通域的边界，设定所述边界的最小外接矩形区域；

对所述票据图像的所述矩形区域外的区域进行白色填充处理。

4.根据权利要求1或2所述的票据文本识别方法，其特征在于，所述通过预设的多模态transformer模型对所述文本信息进行命名实体抽取的步骤之前，还包括：

通过查询预设的同义词库，判断所述文本信息是否存在同义词；

在判断存在所述同义词时，对所述文本信息进行所述同义词替换。

5.根据权利要求1或2所述的票据文本识别方法，其特征在于，所述通过预设的多模态transformer模型对所述文本信息进行命名实体抽取的步骤，具体包括：

将所述票据图像、所述文本信息和所述布局信息输入所述预设的多模态transformer模型进行所述命名实体抽取，得到所述多个命名实体。

6.根据权利要求1或2所述的票据文本识别方法，其特征在于，在所述将判断结果为存在关联的实体对进行合并，得到合并文本的步骤之后，还包括：

基于预设判断规则，生成所述合并文本可信度的目标判断结果。

7.根据权利要求1或2所述的票据文本识别方法，其特征在于，在所述将判断结果为存在关联的实体对进行合并的步骤之后，还包括：

将所述票据图像输入到所述识别定位模型进行文本识别，得到文本置信率；

将所述文本信息输入到所述多模态transformer模型进行命名实体抽取，得到命名置信率；

将所述实体输入到所述关联判断模型进行是否存在关联性判断，得到判断置信率；

对所述文本置信率、所述命名置信率以及所述判断置信率中的至少两个进行平均或者加权平均，生成所述合并文本的可信度目标判断结果；

在所述目标判断结果超过预设阀值时，直接输出所述合并文本。

8.一种票据识别装置，其特征在于，包括：

获取模块，用于获取待识别的票据图像；

识别模块，用于通过预设的识别定位模型对所述票据图像进行文本识别，得到文本信息和对应的布局信息；

抽取模块，用于通过预设的多模态transformer模型对所述文本信息进行命名实体抽取，得到对应的多个命名实体；

构建模块，用于基于预设配对规则，结合所述多个命名实体和所述布局信息构建实体对的候选集；

判断模块，用于通过预设的关联判断模型对每个所述实体对是否存在关联进行判断；

合并模块，用于将判断结果为存在关联的实体对进行合并，得到合并文本。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的票据文本识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的票据文本识别方法的步骤。