[发明专利]多维度混合OCR识别方法、装置、设备及存储介质

说明书

本发明提供了一种多维度混合OCR识别方法、装置、设备及存储介质，该方法包括：将图像设置为预设尺寸；根据预设神经网络模型区分所述图像的公式、图表和/或文字区域，并分别获取所述公式、图表和/或文字区域的位置坐标；根据所述公式、图表和/或文字区域分别调用不同的OCR模型进行识别，以获取识别结果；根据所述位置坐标和识别结果输出所述图像的识别信息。通过上述方案，实现了公式、图表及文字混合图像的直接OCR识别，提高了识别的准确度，具有较强的鲁棒性，解决了现有技术中存在的难以进行简便、准确的公式、图表及文字混合的图像的识别的问题。

技术领域

本发明实施例涉及图像识别领域，尤其涉及一种多维度混合OCR识别方法、装置、设备及存储介质。

背景技术

OCR(Optical Character Recognition，光学符号识别)技术是利用文字识别技术将光学扫描、相机拍摄等获得的印刷品图片转化为计算机可以处理的文字信息。近年来，OCR技术发展迅速，对文字的识别已经达到较高的识别准确度。但对于公式、图表及文字混合的图像则无法直接进行OCR识别，需要首先分割公式、文字和图表区域再分别做OCR识别，而目前通过手工进行分割公式、文字和图表的方法耗时耗力；传统的直接对公式、文字和图表混合的图像进行识别的方法则准确度不高，鲁棒性不强，对图像质量有较高的要求。

发明内容

有鉴于此，本发明实施例提供一种多维度混合OCR识别方法、装置、设备及存储介质，以实现对公式、图表或文字等混合的图像的OCR识别。

第一方面，本发明实施例提供了一种多维度混合OCR识别方法，包括：

将目标图像设置为预设尺寸的待识别图像；

根据预设神经网络模型区分待识别图像的公式、图表和/或文字区域，并分别获取公式、图表和/或文字区域的位置坐标；

根据公式、图表和/或文字区域分别调用不同的OCR模型进行识别，以获取识别结果；

根据位置坐标和识别结果输出待识别图像的识别信息。

优选地，根据预设神经网络模型区分待识别图像的公式、图表和/或文字区域，并分别获取公式、图表和/或文字区域的位置坐标，包括：

将待识别图像输入至预设神经网络模型，以获取待识别图像的第一特征向量；

将第一特征向量输入至区域候选网络，以获取一个或多个候选框的位置坐标；

提取一个或多个候选框所对应的第二特征向量，并将第二特征向量输入至类别识别网络，以获取一个或多个候选框的类别，类别包括公式、图表或文字。

进一步地，根据预设神经网络模型区分待识别图像的公式、图表和/或文字区域，并分别获取公式、图表和/或文字区域的位置坐标，还包括：

对位置坐标进行优化调整，以获取公式、图表和/或文字区域的精确位置坐标。

优选地，根据公式、图表和/或文字区域分别调用不同的OCR模型进行识别，以获取识别结果，包括：

调用第一OCR模型识别公式区域，以获取公式识别结果；

调用第二OCR模型识别图表区域，以获取图表识别结果；

调用第三OCR模型识别文字区域，以获取文字识别结果；

具体的，作为优选的：用以识别文字区域的第三OCR模型可以采用微分二值化网络加上端到端场景文字识别网络架构；进行公式区域识别的第一OCR模型可采用卷积神经网络加上注意力机制加上序列编码器加上序列解码器架构；进行图表区域识别的第二OCR模型可以首先对图表区域调用深度神经网络分析解构图表结构，然后调用第三OCR模型识别其中的文字。

第二方面，本发明实施例提供了一种多维度混合OCR识别装置，其特征在于，包括：

第一处理模块，第一处理模块用于将目标图像设置为预设尺寸的待识别图像；