[发明专利]一种公式识别方法及装置

权利要求书

1.一种公式识别方法，其特征在于，所述方法包括：

获取包括公式的待识别图像；

对所述待识别图像进行处理，得到全局图像特征和局部图像特征；

对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。

2.根据权利要求1所述的方法，其特征在于，所述对所述待识别图像进行处理，得到全局图像特征和局部图像特征包括：

利用卷积神经网络的M个卷积层和N个池化层对所述待识别图像进行处理，得到所述全局图像特征；M和N均为大于或者等于1的整数；

所述M个卷积层和所述N个池化层中的部分池化层对所述待识别图像进行处理，得到所述局部图像特征。

3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络为：DenseNet。

4.根据权利要求1所述的方法，其特征在于，所述对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式通过解码器实现，所述解码器包括：第一门循环单元GRU层和第二GRU层，其中：

在第一解码时刻：

所述第一GRU层的输入包括：所述全局图像特征、所述局部图像特征、以及所述第一GRU层在第二解码时刻得到的隐藏向量，所述第二解码时刻为所述第一解码时刻的上一解码时刻，所述第一GRU层在第二解码时刻得到的隐藏向量，能够指示所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容；所述第二GRU层的输入包括：所述全局图像特征和所述局部图像特征以及所述第一GRU层在所述第一解码时刻输出的隐藏向量；

所述解码器的输出为所述第二GRU层在最后一个解码时刻得到的解码结果。

5.根据权利要求4所述的方法，其特征在于，在第一解码时刻，所述第二GRU层的输入还包括：

所述第二GRU层在所述第二解码时刻得到的隐藏向量，其中，所述第二GRU层在所述第二解码时刻得到的隐藏向量，能够指示在所述第一解码时刻所述全局图像特征和所述局部图像特征中未被解码的内容。

6.根据权利要求4所述的方法，其特征在于，所述解码器为Transformer模型中的解码器。

7.根据权利要求1所述的方法，其特征在于，所述获取包括公式的待识别图像，包括：

获取包括公式的原始图像，去除所述原始图像中的冗余信息和/或噪声干扰，得到所述待识别图像。

8.一种公式识别装置，其特征在于，所述装置包括：

第一获取单元，用于获取包括公式的待识别图像；

第一处理单元，用于对所述待识别图像进行处理，得到全局图像特征和局部图像特征；

第二处理单元，用于对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。

9.一种公式识别装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取包括公式的待识别图像；

对所述待识别图像进行处理，得到全局图像特征和局部图像特征；

对所述全局图像特征和所述局部图像特征进行处理，得到所述待识别图像中包括的公式。

10.一种计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行权利要求1至7任意一项所述的方法。