[发明专利]公式识别方法、装置、设备及存储介质

权利要求书

1.一种公式识别方法，其特征在于，包括：

对包含目标公式的目标图像进行特征提取，得到特征图；

对所述特征图进行解码，得到第一标记符序列，所述第一标记符序列中包含表征所述目标公式的目标标记符序列中的至少部分标记符；所述第一标记符序列中的标记符表征所述目标公式中只具有第一维度的位置关系的公式符号；

如果所述第一标记符序列中包含至少一个占位符和所述目标标记符序列中的部分标记符，至少基于所述第一标记符序列在所述特征图中提取各个占位符对应的子特征；

对各个占位符对应的子特征分别进行解码，得到各个占位符对应的子标记符序列；

基于各个占位符对应的子标记符序列与所述第一标记符序列，构建所述目标标记符序列作为公式识别结果。

2.根据权利要求1所述的方法，其特征在于，所述至少基于所述第一标记符序列在所述特征图中提取各个占位符对应的子特征，包括：

利用所述第一标记符序列确定所述特征图中的各个特征点与每个占位符的注意力权重；

对于任一占位符以及所述特征图中的每个特征点，将该特征点处的特征向量乘以该特征点与所述任一占位符的注意力权重，得到所述任一占位符对应的子特征。

3.根据权利要求2所述的方法，其特征在于，所述利用所述第一标记符序列确定所述特征图中的各个特征点与每个占位符的注意力权重，包括：

对所述第一标记符序列中的各个占位符和标记符进行编码，得到各个占位符和标记符对应的、具有上下文信息的编码结果；

基于所述特征图中的各个特征点处的特征向量，以及所述任一占位符的编码结果，确定所述特征图中的每个特征点与所述任一占位符的注意力权重。

4.根据权利要求1所述的方法，其特征在于，所述对所述特征图进行解码，包括：

对所述特征图进行非自回归解码，得到所述第一标记符序列。

5.根据权利要求4所述的方法，其特征在于，所述至少基于所述第一标记符序列在所述特征图中提取各个占位符对应的子特征，包括：

对于任一占位符，根据所述第一标记符序列，以及对所述特征图进行非自回归解码时形成的所述任一占位符对应的尖峰信息，在所述特征图中提取所述任一占位符对应的子特征。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一标记符序列，以及对所述特征图进行非自回归解码时形成的所述任一占位符对应的尖峰信息，在所述特征图中提取各个占位符对应的子特征，包括：

根据所述任一占位符对应的尖峰信息，确定所述特征图中与所述任一占位符对应的目标区域；

获得利用所述第一标记符序列确定的所述特征图中的所述目标区域的各个特征点与所述任一占位符的注意力权重；

将所述目标区域内的各特征点的特征向量乘以该特征点与所述任一占位符的注意力权重，将所述特征图中的非目标区域的特征点置零，得到所述任一占位符对应的子特征。

7.根据权利要求1所述的方法，其特征在于，所述对各个占位符对应的子特征分别进行解码，包括：

对所述各个占位符对应的子特征分别进行自回归解码，得到所述各个占位符对应的子标记符序列。

8.根据权利要求1所述的方法，其特征在于，其中，

任一占位符对应的子标记符序列表征所述目标公式中具有第二维度的位置关系的公式结构及构成所述公式结构的公式符号间的位置关系；

或者，

任一占位符对应的子标记符序列表征的所述目标公式中的公式结构与所述第一标记符序列中的标记符表征的公式符号之间具有第二维的位置关系。