[发明专利]公式识别方法、装置、电子设备以及存储介质

权利要求书

1.一种公式识别方法，包括：

通过第一特征提取网络对手写公式图像进行特征提取得到第一特征图；

通过图像转换网络基于手写公式图像特征与印刷公式图像特征之间的映射关系将所述第一特征图转换为第二特征图，并基于所述第二特征图生成印刷公式图像；

通过第二特征提取网络对所述印刷公式图像进行特征提取得到第三特征图；

基于所述第三特征图进行识别得到公式识别结果。

2.根据权利要求1所述的方法，所述通过图像转换网络基于手写公式图像特征与印刷公式图像特征之间的映射关系将所述第一特征图转换为第二特征图，并基于所述第二特征图生成印刷公式图像包括：

通过所述图像转换网络的特征转换单元将所述第一特征图转换为所述第二特征图；

通过生成器基于所述第二特征图生成所述印刷公式图像。

3.根据权利要求1所述的方法，其中，所述第一特征提取网络包括第一卷积层、第一最大池化层、多个第二卷积层以及多个第三卷积层；所述通过第一特征提取网络对手写公式图像进行特征提取得到第一特征图包括：

采用所述第一卷积层对所述手写公式图像进行卷积处理；

采用所述最大池化层对所述手写公式图像进行下采样；

采用包括多个所述第二卷积层和多个所述第三卷积层串联组成的第一卷积模块对所述手写公式图像进行卷积处理后得到所述第一特征图。

4.根据权利要求1-3中任意一项所述的方法，其中，第二特征提取网络包括第四卷积层、第二最大池化层、多个第五卷积层以及多个第六卷积层；所述通过第二特征提取网络对所述印刷公式图像进行特征提取得到第三特征图包括：

采用所述第四卷积层对所述印刷公式图像进行卷积处理；

采用所述第二最大池化层对所述印刷公式图像进行下采样；

采用包括多个所述第五卷积层和多个所述第六卷积层串联组成的第二卷积模块对所述印刷公式图像进行卷积处理后得到所述第三特征图。

5.根据权利要求1所述的方法，其中，所述基于所述第三印刷公式特征图进行识别得到公式识别结果包括：

通过第七卷积层对所述第三特征图进行特征提取得到第一中间层特征；

对所述第一中间层特征进行位置编码；

将所述位置编码与所述第一中间层特征相加得到第二中间层特征；

对所述第二中间层特征解码依次得到所述手写公式图像对应的多个符号作为所述公式识别结果。

6.根据权利要求5所述的方法，其中，所述对所述第二中间层特征解码依次得到所述手写公式图像对应的多个符号作为所述公式识别结果包括：

对每一步解码得到的所述符号，提取所述符号对应的特征编码；

将所述特征编码输入门控循环神经网络，通过所述门控循环神经网络得到当前隐藏层状态；

结合所述当前隐藏层状态解码得到下一个所述符号。

7.根据权利要求1-6中任意一项所述的方法，所述基于所述第二特征图生成印刷公式图像之后，还包括：

通过判别器判断所述印刷公式图像的转换效果，并根据所述转换效果对所述图像转换网络进行更新。

8.一种公式识别装置，包括：

第一特征提取模块，被配置为通过第一特征提取网络对手写公式图像进行特征提取得到第一特征图；

图像转换模块，被配置为通过图像转换网络基于手写公式图像特征与印刷公式图像特征之间的映射关系将所述第一特征图转换为第二特征图，并基于所述第二特征图生成印刷公式图像；

第二特征提取模块，被配置为通过第二特征提取网络对所述印刷公式图像进行特征提取得到第三特征图；

识别模块，被配置为基于所述第三特征图进行识别得到公式识别结果。

9.根据权利要求8所述的装置，所述图像转换模块包括：

特征转换单元，被配置为将所述第一特征图转换为所述第二特征图；

生成器，被配置为基于所述第二特征图生成所述印刷公式图像。