[发明专利]多维度混合OCR识别方法、装置、设备及存储介质

权利要求书

1.一种多维度混合OCR识别方法，其特征在于，包括：

将目标图像设置为预设尺寸的待识别图像；

根据预设神经网络模型区分所述待识别图像的公式、图表和/或文字区域，并分别获取所述公式、图表和/或文字区域的位置坐标，其包括：

将所述待识别图像输入至所述预设神经网络模型，以获取所述待识别图像的第一特征向量；将所述第一特征向量输入至区域候选网络，以获取一个或多个候选框的位置坐标；提取所述一个或多个候选框所对应的第二特征向量，并将所述第二特征向量输入至类别识别网络，以获取所述一个或多个候选框的类别，所述类别包括公式、图表或文字；

根据所述公式、图表和/或文字区域分别调用不同的OCR模型进行识别，以获取识别结果；

根据所述位置坐标和识别结果输出所述待识别图像的识别信息。

2.如权利要求1所述的多维度混合OCR识别方法，其特征在于，所述根据预设神经网络模型区分所述待识别图像的公式、图表和/或文字区域，并分别获取所述公式、图表和/或文字区域的位置坐标，还包括：

对所述位置坐标进行优化调整，以获取所述公式、图表和/或文字区域的精确位置坐标。

3.如权利要求1所述的多维度混合OCR识别方法，其特征在于，所述根据所述公式、图表和/或文字区域分别调用不同的OCR模型进行识别，以获取识别结果，包括：

调用第一OCR模型识别所述公式区域，以获取公式识别结果，其中，所述第一OCR模型采用卷积神经网络加上注意力机制加上序列编码器加上序列解码器架构；

调用第二OCR模型识别所述图表区域，以获取图表识别结果，其中，所述第二OCR模型首先对图表区域调用深度神经网络分析解构图表结构，然后调用第三OCR模型识别其中的文字；

调用第三OCR模型识别所述文字区域，以获取文字识别结果，其中，所述第三OCR模型采用微分二值化网络加上端到端场景文字识别网络架构。

4.一种多维度混合OCR识别装置，其特征在于，包括：

第一处理模块，所述第一处理模块用于将目标图像设置为预设尺寸的待识别图像；

第二处理模块，所述第二处理模块用于根据预设神经网络模型区分所述待识别图像的公式、图表和/或文字区域，并分别获取所述公式、图表和/或文字区域的位置坐标，其包括：

第四处理模块，所述第四处理模块用于将所述待识别图像输入至所述预设神经网络模型，以获取所述待识别图像的第一特征向量；第五处理模块，所述第五处理模块用于将所述第一特征向量输入至区域候选网络，以获取一个或多个候选框的位置坐标；第六处理模块，所述第六处理模块提取所述一个或多个候选框所对应的第二特征向量，并将所述第二特征向量输入至类别识别网络，以获取所述一个或多个候选框的类别，所述类别包括公式、图表或文字；

第三处理模块，所述第三处理模块用于根据所述公式、图表和/或文字区域分别调用不同的OCR模型进行识别，以获取识别结果；

信息输出模块，所述信息输出模块用于根据所述位置坐标和识别结果输出所述待识别图像的识别信息。

5.如权利要求4所述的多维度混合OCR识别装置，其特征在于，所述第二处理模块还包括：

第七处理模块，所述第七处理模块用于对所述位置坐标进行优化调整，以获取所述公式、图表和/或文字区域的精确位置坐标。

6.如权利要求4所述的多维度混合OCR识别装置，其特征在于，所述第三处理模块包括：

第一识别模块，所述第一识别模块用于调用第一OCR模型识别所述公式区域，以获取公式识别结果，其中，所述第一OCR模型采用卷积神经网络加上注意力机制加上序列编码器加上序列解码器架构；

第二识别模块，所述第二识别模块用于调用第二OCR模型识别所述图表区域，以获取图表识别结果，其中，所述第二OCR模型首先对图表区域调用深度神经网络分析解构图表结构，然后调用第三OCR模型识别其中的文字；

第三识别模块，所述第三识别模块用于调用第三OCR模型识别所述文字区域，以获取文字识别结果，其中，所述第三OCR模型采用微分二值化网络加上端到端场景文字识别网络架构。