[发明专利]公式识别方法、装置、设备及存储介质

说明书

本申请实施例公开了一种公式识别方法、装置、设备及存储介质，对包含目标公式的目标图像进行特征提取，得到特征图；对特征图进行解码，得到第一标记符序列，第一标记符序列中包含表征目标公式的目标标记符序列中的至少部分标记符；第一标记符序列中的标记符表征目标公式中只具有第一维度的位置关系的公式符号；如果第一标记符序列中包含至少一个占位符和目标标记符序列中的部分标记符，至少基于第一标记符序列在特征图中提取各个占位符对应的子特征；对各个占位符对应的子特征分别进行解码，得到各个占位符对应的子标记符序列；基于各个占位符对应的子标记符序列与第一标记符序列构建目标标记符序列。基于本申请提高了公式识别效率。

技术领域

本申请涉及计算机视觉技术领域，更具体地说，涉及一种公式识别方法、装置、设备及存储介质。

背景技术

随着文档电子化需求越来越高，对纸质内容进行文字识别以将纸质内容变成可以互动的多媒体内容的应用越来越多，比如，教辅场景的文字识别可以辅助采集、存储教辅教材以及学生的作业，成为个性化学习、精准化教学等智慧教学不可缺少的前置环节。

然而，在涉及到公式的文字识别场景中，公式识别的效率较低。

发明内容

有鉴于此，本申请提供了一种公式识别方法、装置、设备及存储介质，以提高公式的识别效率。

为了实现上述目的，现提出的方案如下：

一种公式识别方法，包括：

对包含目标公式的目标图像进行特征提取，得到特征图；

对所述特征图进行解码，得到第一标记符序列，所述第一标记符序列中包含表征所述目标公式的目标标记符序列中的至少部分标记符；所述第一标记符序列中的标记符表征所述目标公式中只具有第一维度的位置关系的公式符号；

如果所述第一标记符序列中包含至少一个占位符和所述目标标记符序列中的部分标记符，至少基于所述第一标记符序列在所述特征图中提取各个占位符对应的子特征；

对各个占位符对应的子特征分别进行解码，得到各个占位符对应的子标记符序列；

基于各个占位符对应的子标记符序列与所述第一标记符序列，构建所述目标标记符序列作为公式识别结果。

上述方法，优选的，所述至少基于所述第一标记符序列在所述特征图中提取各个占位符对应的子特征，包括：

利用所述第一标记符序列确定所述特征图中的各个特征点与每个占位符的注意力权重；

对于任一占位符以及所述特征图中的每个特征点，将该特征点处的特征向量乘以该特征点与所述任一占位符的注意力权重，得到所述任一占位符对应的子特征。

上述方法，优选的，所述利用所述第一标记符序列确定所述特征图中的各个特征点与每个占位符的注意力权重，包括：

对所述第一标记符序列中的各个占位符和标记符进行编码，得到各个占位符和标记符对应的、具有上下文信息的编码结果；

基于所述特征图中的各个特征点处的特征向量，以及所述任一占位符的编码结果，确定所述特征图中的每个特征点与所述任一占位符的注意力权重。

上述方法，优选的，所述对所述特征图进行解码，包括：

对所述特征图进行非自回归解码，得到所述第一标记符序列。

上述方法，优选的，所述至少基于所述第一标记符序列在所述特征图中提取各个占位符对应的子特征，包括：

对于任一占位符，根据所述第一标记符序列，以及对所述特征图进行非自回归解码时形成的所述任一占位符对应的尖峰信息，在所述特征图中提取各个占位符对应的子特征。