[发明专利]一种基于深度学习图像识别技术的化学信息识别方法

说明书

本发明属于图像识别技术领域，具体涉及一种基于深度学习图像识别技术的化学信息识别方法。所述方法包括以下步骤：(1)对输入的图像使用节点目标识别器进行识别；(2)对步骤(1)中识别的节点使用手写字体目标识别器进行文本内容的识别，进而确定节点对应的具体原子；(3)将上述多个识别出的原子两两结合，再次使用化学键目标识别器对两原子间的化学键进行识别；(4)在数据库中查找上述识别出的原子的属性，计算结构式的相关属性，输出；或者，将上述识别出的原子及原子间的化学键存储为自定义king格式的文件或绘制在新的图片中，输出。本发明可解决手绘及图片上的化学结构式或反应式识别问题，可广泛应用于化学工作者的日常工作中。

技术领域

本发明属于图像识别技术领域，具体涉及一种基于深度学习图像识别技术的化学信息识别方法。

背景技术

目前，深度学习在图像识别方面已广泛应用，其主要应用场景为人脸识别、车牌识别、常用物体识别及植物识别。但是深度学习图像识别技术在化学结构式或反应式图像识别方面并没有应用。

发明内容

为解决手绘及图片上的化学结构式或反应式识别问题，本发明的目的是将用户在工具或纸上绘制的化学结构式或反应式拍照上传后得到相应结构式或反应式的组成及结构式的相关属性。

为实现上述目的，本发明提供一种基于深度学习图像识别技术的化学信息识别方法，其包括以下步骤：

(1)对输入的图像使用基于深度学习图像识别技术的节点目标识别器进行节点的识别；

(2)对步骤(1)中识别的节点使用基于深度学习图像识别技术的手写字体目标识别器进行文本内容的识别，进而确定节点对应的具体原子；

(3)将上述多个识别出的原子两两结合，再次使用基于深度学习图像识别技术的化学键目标识别器对两原子间的化学键进行识别；

(4)在数据库中查找上述识别出的原子的属性，包括相对原子质量、同位素质量及丰度、常用化学价等信息，计算结构式的相关属性，输出；

或者，将上述识别出的原子及原子间的化学键存储为自定义king格式的文件，输出；

或者，将上述识别出的原子及原子间的化学键绘制在新的图片中，输出。

另外，还包括以下步骤：

(5)对输入的图像使用基于深度学习图像识别技术的箭头目标识别器进行箭头的识别；

然后将上述识别出的箭头与步骤(2)(3)识别出的原子及原子间的化学键存储为自定义king格式的文件，输出；

或者，将上述识别出的箭头与步骤(2)(3)识别出的原子及原子间的化学键绘制在新的图片中，输出。

其中，步骤(1)(3)(5)中所述的基于深度学习图像识别技术的目标识别器是预先使用基于深度学习图像识别技术，Ross Girshick团队提出的faster-rcnn算法进行离线训练得到的，用于识别图像中的箭头、原子及其空间坐标以及化学键。

其中，步骤(2)中所述的基于深度学习图像识别技术的手写字体目标识别器是预先使用基于深度学习图像识别技术，Caffe的LeNet模型进行离线训练得到的，用于识别图像中的文本内容。

优选地，对所述的目标识别器进行离线训练的步骤包括采用图像集来离线训练所述目标识别器。

训练所述目标识别器使用的图像集包括：(a)手写字体图片；(b)多种及多类型化学键连接的节点；(c)单键、双键、三键等常用化学键；(d)化学中常用箭头图片。

更优选地，使用所述图像集(a)在LeNet模型中训练一个手写字体识别器，用于确定节点是元素周期表中的元素还是纯文本或者是不用显示的“碳”元素。