[发明专利]基于多模态信息融合处理的文本识别方法

摘要

本发明披露一种基于多模态信息融合处理的文本识别方法。本发明中的多模态信息，包括图像信息和语意信息。在图像信息方面，选用胶囊网络提取像素特征；在语意信息方面，通过引入预处理语言模型构建语意胶囊模块，可以根据文本中前一时刻的字符，预测出下一个字符，为模型提供语意特征；在融合阶段中本发明对胶囊神经网络进行轻量化并对其内部的动态路由算法进行优化，使得在保留网络模型的识别精度的同时有效降低网络中神经元的数量，减少了网络的空间占用，提升运算速度。本发明提出的基于多模态信息融合处理的文本识别方法有效提高了字符文本的识别准确率，并在大角度旋转字符以及相似字符等识别难点上有了较大突破。