[发明专利]图像识别方法及其装置、电子设备、计算机可读存储介质

说明书

本发明公开了一种图像识别方法及其装置、电子设备、计算机可读存储介质。其中，该识别方法包括：获取待处理的目标发票图像，提取目标发票图像中的图像特征，得到特征映射图，将预先分析的文本边界框与特征映射图进行融合处理，得到文本区域特征，基于文本区域特征，识别文本边界框内的文本序列，得到文本识别结果，基于文本边界框和文本识别结果，输出图像识别结果。本发明解决了相关技术中由于各种类型发票的识别模板不统一，导致识别发票图像上的信息的准确度较低的技术问题。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像识别方法及其装置、电子设备、计算机可读存储介质。

背景技术

随着越来越多的主体对象(例如，企业)推进全球化经营，主体对象对于境外发票的自动化识别有着迫切的应用需求，如何实现对境外发票进行自动化识别成为众多主体对象关注的热点研究。现有的发票管理受技术限制，一般是通过人工方式进行数据录入和校对，不仅耗费大量人力和时间，而且效率和准确率低下。相关技术中，现有的OCR(OpticalCharacter Recognition)技术通过文本定位、单字切割和分类任务进行识别，适用于文本工整、布局规范的识别场景，而不适用于表格结构与自然场景下的图像文本检测识别。然而，境外发票具有种类多、文本尺度不一致、票据布局不一致的特点，无法适用一个统一的识别模板，现有的OCR技术对境外发票的识别准确率受限。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像识别方法及其装置、电子设备、计算机可读存储介质，以至少解决相关技术中由于各种类型发票的识别模板不统一，导致识别发票图像上的信息的准确度较低的技术问题。

根据本发明实施例的一个方面，提供了一种图像识别方法，包括：获取待处理的目标发票图像；提取所述目标发票图像中的图像特征，得到特征映射图；将预先分析的文本边界框与所述特征映射图进行融合处理，得到文本区域特征；基于所述文本区域特征，识别所述文本边界框内的文本序列，得到文本识别结果；基于所述文本边界框和所述文本识别结果，输出图像识别结果，其中，所述图像识别结果中至少包括：发票文本信息。

可选地，在提取所述目标发票图像中的图像特征，得到特征映射图之前，所述识别方法还包括：对所述目标发票图像进行预处理操作，其中，所述预处理操作包括下述至少之一：直方图均衡化、图像标准化、归一化、噪声去除、倾斜矫正。

可选地，提取所述目标发票图像中的图像特征，得到特征映射图的步骤，包括：按照预设比例将所述目标发票图像进行缩放处理；将缩放后的所述目标发票图像输入至深度学习神经网络中，以采用所述深度学习神经网络提取图像特征，得到所述特征映射图，其中，所述深度学习神经网络包括多个网络层，所述多个网络层包括下述至少之一：卷积层、池化层、图形标准构建层。

可选地，在提取所述目标发票图像中的图像特征，得到特征映射图之后，所述识别方法还包括：采用角点检测器检测所述目标发票图像中的文本角点；对所述文本角点进行组合，生成候选边界框；采用位置敏感分割器对所述目标发票图像中的文本区域进行分割，得到文本分割图；采用所述文本分割图消除出现非文本信息的候选边界框，得到具备文本信息的文本边界框。

可选地，采用角点检测器检测所述目标发票图像中的文本角点的步骤，包括：确定每个角点检测得分分支的第一损失函数、每个角点检测偏移分支的第二损失函数以及每个位置分割图的第三损失函数；分析所述目标发票图像中的显示框的数量以及特征映射图中的像素数量；基于所述第一损失函数以及对应的第一权重、所述第二损失函数以及对应的第二权重、所述第三损失函数以及对应的第三权重、所述显示框的数量以及像素数量，确定文本定位参数；基于所述文本定位参数，确定所述目标发票图像中的文本角点。

可选地，采用位置敏感分割器对所述目标发票图像中的文本区域进行分割，得到文本分割图的步骤，包括：将所述目标发票图像中的文本区域划分为多个文本分块；对每个所述文本分块进行分析，以确定每个文本分割图所属的文本分块。