[发明专利]公式识别方法、装置、电子设备以及存储介质

说明书

本公开涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，尤其涉及公式识别方法、装置、电子设备以及存储介质。具体实现方案为：通过第一特征提取网络对手写公式图像进行特征提取得到第一特征图；通过图像转换网络基于手写公式图像特征与印刷公式图像特征之间的映射关系将第一特征图转换为第二特征图，并基于第二特征图生成印刷公式图像；通过第二特征提取网络对印刷公式图像进行特征提取得到第三特征图；基于第三特征图进行识别得到公式识别结果。通过将图像转换作为公式识别的前置任务，训练模型学习将复杂多变的手写公式映射为印刷公式，再对印刷公式图像进行识别，提升手写公式的识别准确率和识别效率。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域，尤其涉及公式识别方法、装置、电子设备以及存储介质。

背景技术

数学公式在教育领域、办公领域以及图书馆档案等领域都广泛存在，不同于常规文本，对手写数学公式的识别，存在识别不准确、识别效率低的技术问题。手写数学公式有着复杂的空间结构以及多样化的书写风格，其中复杂的空间结构主要是由数学公式独特的分式、上下标、根号等结构造成的。结构和书写风格的多样性导致现有的手写数学识别方法对手写数学公式的识别效果不太理想。

发明内容

本公开提供了一种公式识别方法、装置、电子设备、存储介质以及计算机程序产品。

根据本公开的第一方面，提供了一种公式识别方法，包括：

通过第一特征提取网络对手写公式图像进行特征提取得到第一特征图；

通过图像转换网络基于手写公式图像特征与印刷公式图像特征之间的映射关系将所述第一特征图转换为第二特征图，并基于所述第二特征图生成印刷公式图像；

通过第二特征提取网络对所述印刷公式图像进行特征提取得到第三特征图；

基于所述第三特征图进行识别得到公式识别结果。

根据本公开的第二方面，提供了一种公式识别装置，包括：

第一特征提取模块，被配置为通过第一特征提取网络对手写公式图像进行特征提取得到第一特征图；

图像转换模块，被配置为通过图像转换网络基于手写公式图像特征与印刷公式图像特征之间的映射关系将所述第一特征图转换为第二特征图，并基于所述第二特征图生成印刷公式图像；

第二特征提取模块，被配置为通过第二特征提取网络对所述印刷公式图像进行特征提取得到第三特征图；

识别模块，被配置为基于所述第三特征图进行识别得到公式识别结果。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述技术方案中任一项所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述技术方案中任一项所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述技术方案中任一项所述的方法。

本公开提供了一种公式识别方法、装置、电子设备、存储介质以及计算机程序产品，可以同时提升公式识别的准确率和识别效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。