[发明专利]基于深度学习的药品识别系统及其识别方法

说明书

所属技术领域

本发明属于药品管理、计算机视觉和深度学习技术领域，具体涉及一种基于深度学习的药品识别方法。

背景技术

随着药学产业的飞速发展，市面上的药品种类繁多，大多数医院药品就达1500余种，其中相同药品的不同品规、不同剂量又有多种形式。在仍旧由人工拣药、配药的医院，存在人员对医院信息系统(HIS)传送处方的误读以及药品包装相似或易混淆药品加错等情况，增加了药师的工作量及发药差错。另一方面目前流行的自动发药机，其主要工作方式为接收从医院HIS传来的已结算门诊处方的信息，自动将其内储的药品按处方信息发入智能药筐内，并送上传输系统，再由发药窗口药师进行最后人工核对，其调剂药品的质量和工作效率有显著提高。虽然自动化的方式极大降低了差错率，但是药品包装相似或极易混淆药品加错等情况仍旧存在^[1][2]。

发明内容

因此，在日常工作中我们发现有必要提供一种能够精确且迅速识别药品的关键性特征的方法，来进一步提供药品管理的快捷度及安全性。

本发明的方法是利用深度学习构建药品的识别系统，识别药品的关键性特征。传统识别方法的不足是因为药品复杂性，特征提取方法不能处理多变的图像，特征点提取方法需要人工专家定义重要的特征点位置。而且，对于哪些特征点重要也不能给出统一的标准。基于深度学习的卷积神经网络(CNN)可以自动生成特征，这就避免人为特征提取上的不稳定性以及盲点。与传统特征提取方法不同，CNN通过卷积核提取特征，每一个神经元和前一层的局部感受区域相连，通过卷积核计算局部特征。每个较低层的输出作为更高层的输入，可以从大量输入数据中学习有效的特征表示，学习到的高阶表示中包含输入数据的许多结构信息，是一种从数据中提取特征表示的好方法，能够用于分类、回归和信息检索等特定问题中。

具体来说，本发明的特点在于，包括一下四个部分：

1.药品图像训练样本及测试样本的预处理；

2.构建模型单元，用于建立基于深度学习的药品识别模型；

3.识别单元，用于输入带识别的药品，然后由上述的已建立基于深度学习的药品识别模型，在深度学习模型中获取图像的卷积特征，并将所获得的卷积特征级联输入分类器，最后输出识别结果；

4.识别系统硬件，包括微处理器、存储器、扬声器、高清摄像头，监视器，所述微处理器连接前述、存储器、扬声器、高清摄像头；

所述高清摄像头用于采集药品的图像，并且将采集到的药品图像传输到所述存储器及微处理器；

所述微处理器进行药品图像的预处理，并运行基于深度学习的药品识别方法，得以构建模型、训练模型、识别输出，输出结果至HIS系统，同时通过扬声器输出提示语音。

附图说明

图1为发明的卷积神经网络(CNN)模型架构图

图2为本发明实施模型构建、模型训练及识别系统的流程图

具体实施方式

整个方法分为以下三步：

1.预处理

1.1求取灰度图

在预处理阶段，由于真彩色图像包含的信息量很大，这会严重影响图像处理的速度，因此，我们先对图像进行灰度化处理。真彩色图像也可以称作RGB图像，图像上每个像素都有R、G、B这3个分量，本文采用的是加权平均法，即给每个像素的3个分量分配不同的权值，然后计算它们的加权平均数，公式如下

式中：WR、WG、WB分别为R、G、B的权值，经过多次测试验证，在医院药房现有的药品包装的图片库中，我们发现复杂的图像背景中，当WR＝0.291，WG＝0.592，WB＝0.117时得到的是最为合理的灰度图。

1.2边缘检测及外框处理

由于药品在输送过程中，在图像中的占比和位置不定，为了使接下来的处理速度进一步提升、图像识别更加精确，首先需要定位药品的外边框位置，接下来的处理就可以集中在我们需要的部分，而排除大量的背景图像干扰，也进一步减轻识别运行负担，提高检测速度。

首先，灰度化处理后，我们对所得图形再进行边缘检测处理，这样使字符区域更为突出显示。本发明采用的是基于拉普拉斯-高斯(LOG)的边缘检测，它利用信号的二阶导数等于零时幅度的一阶导数最大原理，通过寻找图像的二阶导数的零点来确定图像的边缘。利用拉普拉斯高斯算子在进行边缘检测时，首先将图像与高斯函数进行卷积运算，得到高斯函数处理后的平滑图像。

h(x，y)＝f(x，y)×G(x，y)