[发明专利]文字识别方法、装置、电子设备及存储介质

说明书

本发明提供一种文字识别方法、装置、电子设备及存储介质，该方法首先获取待批改题目的作答图像以及待批改题目的题目信息，题目信息包括题干文本、答案文本和解析文本中的至少一种；然后根据作答图像以及题目信息，得到作答图像中作答文本的识别结果。将作答图像与题目信息相结合，可以利用题目信息辅助作答图像中作答文字的识别，提高识别准确率。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种文字识别方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的高速发展，越来越多的工作被机器取代，机器自动批改试卷的技术也应运而生。通过机器实现自动批改试卷，不仅可以极大的减少老师和家长的工作，还可以通过批改的情况对学生的学习情况进行分析总结，以便向推荐学生掌握得不好的知识点的相关题目，让学生脱离题海战术，只做薄弱项，为学生减负。

现如今的学生作答场景，无论是扫描、拍照还是通过平板在线实现输入，都离不开作答文字识别，而作答文字识别是自动批改的入口，其识别效果也直接影响了最终自动批改的效果，若某些关键作答识别错误，则会直接造成最终批改的错误。

为此，如何提升自动批改场景下的作答文字识别至关重要。

发明内容

本发明提供一种文字识别方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷。

本发明提供一种文字识别方法，包括：

获取待批改题目的作答图像以及所述待批改题目的题目信息，所述题目信息包括题干文本、答案文本和解析文本中的至少一种；

基于所述题目信息，对所述作答图像进行文字识别，得到所述作答图像中作答文本的识别结果。

根据本发明提供的一种文字识别方法，所述基于所述题目信息，对所述作答图像进行文字识别，得到所述作答图像中作答文本的识别结果，具体包括：

对所述作答图像进行视觉特征提取，得到所述作答图像的视觉特征编码；

对所述题目信息进行文本特征提取，得到所述题目信息的文本特征编码；

基于所述视觉特征编码和所述文本特征编码，确定所述作答图像中作答文本的识别结果。

根据本发明提供的一种文字识别方法，所述基于所述视觉特征编码和所述文本特征编码，确定所述作答图像中作答文本的识别结果，具体包括：

基于所述视觉特征编码以及上一解码时刻的解码状态，确定当前解码时刻所述视觉特征编码对应的视觉上下文特征编码；

基于所述文本特征编码以及上一解码时刻的解码状态，确定当前解码时刻所述文本特征编码对应的文本上下文特征编码；

基于当前解码时刻所述视觉特征编码对应的视觉上下文特征编码、所述文本特征编码对应文本上下文特征编码，以及上一解码时刻的解码状态和解码结果，确定当前解码时刻的解码结果；

其中，所述作答图像中作答文本的识别结果为最终解码时刻的解码结果。

根据本发明提供的一种文字识别方法，所述基于所述文本特征编码以及上一解码时刻的解码状态，确定当前解码时刻所述文本特征编码对应的文本上下文特征编码，具体包括：

基于所述文本特征编码、上一解码时刻的解码状态以及当前解码时刻所述视觉特征编码对应的视觉上下文特征编码，确定当前解码时刻所述文本特征编码对应的文本上下文特征编码。

根据本发明提供的一种文字识别方法，所述对所述题目信息进行文本特征提取，得到所述题目信息的文本特征编码，具体包括：

对所述题目信息中的每个词、每个词在所述题目信息中的位置以及每个词的类型进行嵌入编码，并对嵌入编码的结果进行自注意力交互，得到所述文本特征编码；