[发明专利]一种基于多模态信息融合的端到端票据识别装置

说明书

本发明涉及计算机技术的OCR领域，公开了一种基于多模态信息融合的端到端票据识别装置，该装置通过将图片信息、位置信息、文本信息进行融合，实现从图片到票据信息提取的端到端任务，通过统一优化目标和多模态特征的融合提升票据识别的准确率和召回率，使用基于多模态信息融合的端到端票据识别装置的网络结构实现端到端的票据识别功能，使用本专利的基于上下文的关键区域特征提取的方法进行票据关键区域的特征提取。本发明可以充分学习图像特征、位置特征和文本特征，使得模型具有良好的信息提取能力，解决使用多阶段任务误差累积导致下游任务准确率和召回率不高的问题。

技术领域

本发明涉及计算机技术的OCR领域，特别涉及一种基于多模态信息融合的端到端票据识别装置。

背景技术

OCR技术随着大数据、人工智能技术的快速发展而蓬勃发展。通用票据的文字检测、识别和关键信息的提取作为OCR领域的一个重要的应用场景，提升票据关键信息的准确率和召回率对自动化票据识别具有十分重要的意义。

常用的OCR技术分为two stage和one stage两种，two stage是目前应用较广的方法，该方法分为文字检测和文字识别两个阶段。文字检测的主要算法有CTPN、SAST、EAST、DB等，文字识别常用的算法有CRNN，SRE。One stage常用的算法是PGNet。

票据识别作为OCR的下游任务，文本检测和识别的召回率和准确率对票据关键信息内容的提取起着十分重要的作用，这样就会带来一个重要的问题就是：每一个单独任务间的误差会不断累积，导致最后关键信息提取的内容的准确率和召回率不高。

因此，本专利提出一种基于多模态信息融合的端到端票据识别装置，该装置通过将图片信息、位置信息、文本信息进行融合，实现从图片到票据信息提取的端到端任务。通过统一优化目标和多模态特征的融合提升票据识别的准确率和召回率。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于多模态信息融合的端到端票据识别装置，可以充分学习图像特征、位置特征和文本特征，使得模型具有良好的信息提取能力，解决使用多阶段任务误差累积导致下游任务准确率和召回率不高的问题。

本发明提供了如下的技术方案：

本发明提供一种基于多模态信息融合的端到端票据识别装置，具体包括以下：

(1)对于每一张票据的训练图片I，包含文字信息T_i,位置信息为L_i，和图像信息Pi，通过一个特征提取模块获得各项特征集合{F_T，F_I，F_L}；

(2)对于票据类别的分类，输入为特征F_T和F_I，将特征合并展平后为Mat，通过一个全连接网络实现分类，这里设分的类别数为6，2层全连接层；

Y＝softmax((Mat[1×k]×FC[k×m]+bias)×FC[m×6]+bias)

Loss＝-∑_ip(i)log₂(p(i))；

(3)对于票据关键区域的提取，输入为特征F_T和F_L,假设当前区域位置为R，全图的ROI区域为A。对于R，四边形的四个坐标按顺时针信息为(x₁,y₁,x₂,y₂,x₃,y₃,x₄,y₄),根据(x₃,y₃)从区域A中选择从(0,0)～(x₃,y₃)区域内的文字区域，计算该区域内的所有文字位置区域与R的距离：