[发明专利]一种数学公式字符识别方法、装置和电子设备

说明书

本发明提供了一种数学公式字符识别方法、装置和电子设备，通过利用特殊字符编码规则训练过的CRNN，可以在识别作业图片的文本行图像中的字符的同时，还可以对作业图片中的根式、分式等公式以及循环小数进行有效识别，并在确定常规字符的数量小于字符数量阈值时，说明此时公式是文本行图像中的主要内容，那么继续将文本行图像输入到WAP中进行公式识别，得到公式LaTeX字符串，将CRNN擅长识别通用文字和WAP擅长识别数学公式的特点都发挥出来，大大提高了数学教学场景中对包括汉字、字母、公式及特殊字符混合的图像中的汉字、字母、公式及特殊字符的识别效果。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数学公式字符识别方法、装置和电子设备。

背景技术

目前，在数学教学场景中，数学公式可能存在各种复杂的汉字，字母，公式及特殊字符的混合形式，如何有效识别这些文字及公式的混合是实现该场景拍照批改的难点。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种数学公式字符识别方法、装置和电子设备。

第一方面，本发明实施例提供了一种数学公式字符识别方法，包括：

获取待识别的作业图片，对所述作业图片进行文本行检测，得到所述作业图片中的文本框的坐标信息；

利用所述文本框的坐标信息，从所述作业图片中截取文本行图像；

将截取的文本行图像输入到训练后的通用文字识别模型（ConvolutionalRecurrent Neural Network，CRNN）中，对所述文本行图像中的字符进行识别，得到所述CRNN识别出的第一识别结果；其中，所述CRNN，是利用特殊字符编码规则训练过的；所述第一识别结果，包括：常规字符和/或者非常规字符；

当所述第一识别结果中的常规字符的数量小于字符数量阈值时，将所述文本行图像输入到公式识别模型WAP中，对所述文本行图像中的数学公式进行识别，得到所述WAP识别出的第二识别结果；其中，第二识别结果，包括公式LaTeX字符串，所述WAP中设置有复杂公式LaTeX字符串；

当所述第二识别结果中具有复杂公式LaTeX字符串时，将所述第二识别结果作为最终识别结果输出；

当所述第二识别结果中未具有复杂公式LaTeX字符串时，对所述第一识别结果和所述第二识别结果进行处理，得到最终识别结果并输出。

第二方面，本发明实施例还提供了一种数学公式字符识别装置，包括：

获取模块，用于获取待识别的作业图片，对所述作业图片进行文本行检测，得到所述作业图片中的文本框的坐标信息；

截取模块，用于利用所述文本框的坐标信息，从所述作业图片中截取文本行图像；

第一识别模块，用于将截取的文本行图像输入到训练后的通用文字识别模型CRNN中，对所述文本行图像中的字符进行识别，得到所述CRNN识别出的第一识别结果；其中，所述CRNN，是利用特殊字符编码规则训练过的；所述第一识别结果，包括：常规字符和/或者非常规字符；

第二识别模块，用于当所述第一识别结果中的常规字符的数量小于字符数量阈值时，将所述文本行图像输入到公式识别模型WAP中，对所述文本行图像中的数学公式进行识别，得到所述WAP识别出的第二识别结果；其中，第二识别结果，包括公式LaTeX字符串，所述WAP中设置有复杂公式LaTeX字符串；

第一输出模块，用于当所述第二识别结果中具有复杂公式LaTeX字符串时，将所述第二识别结果作为最终识别结果输出；

第二输出模块，用于当所述第二识别结果中未具有复杂公式LaTeX字符串时，对所述第一识别结果和所述第二识别结果进行处理，得到最终识别结果并输出。