[发明专利]一种基于多模态信息融合的端到端票据识别装置

摘要

本发明涉及计算机技术的OCR领域，公开了一种基于多模态信息融合的端到端票据识别装置，该装置通过将图片信息、位置信息、文本信息进行融合，实现从图片到票据信息提取的端到端任务，通过统一优化目标和多模态特征的融合提升票据识别的准确率和召回率，使用基于多模态信息融合的端到端票据识别装置的网络结构实现端到端的票据识别功能，使用本专利的基于上下文的关键区域特征提取的方法进行票据关键区域的特征提取。本发明可以充分学习图像特征、位置特征和文本特征，使得模型具有良好的信息提取能力，解决使用多阶段任务误差累积导致下游任务准确率和召回率不高的问题。