[发明专利]一种基于双目视觉的中药小包装定位方法

说明书

本发明提供了一种基于双目视觉的中药小包装定位方法，该方法包括：双目相机采集中药小包装的图像；利用基于深度学习的YOLO‑V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。本发明基于深度学习的目标检测算法来实现对中药小包装在图像中位置的识别，具有定位精度高、检测速度快的特点。

技术领域

本发明涉及中药小包装识别技术领域，特别是涉及一种基于双目视觉的中药小包装定位方法。

背景技术

随着科学技术的不断发展，药品生产和加工领域的自动化水平不断提升，目前在中药小包装运输以及抓取生产线上，采用图像识别算法代替人工识别，提高了生产效率。但是，中药小包装由于塑料材质，在摆放过程中易出现堆叠、变形等现象，使用传统的图像识别算法解决这一类问题识别结果较差。传统算法通过提取图像的特征，如纹理、色彩等，然后使用分类器训练提取到的特征，得出类别，卷积神经网络可以使用卷积操作提取特征，使得特征的提取和分类一步到位，被广泛应用于图像的识别和分类中。针对中药小包装识别主要任务是将表层的、包装较为完整的药袋识别出来，以便后续的抓取，而针对于可识别和不可识别的目标，二者之间没有明确的界限，因此针对这类边界模糊的图片较难识别出来。此外，运用传统的算法，实时性较差，不能够很好的从大量的药包中正确定位出药包的位置。

发明内容

本发明的目的是提供一种基于双目视觉的中药小包装定位方法，基于深度学习的目标检测算法来实现对中药小包装在图像中位置的识别，具有定位精度高、检测速度快的特点。

为实现上述目的，本发明提供了如下方案：

一种基于双目视觉的中药小包装定位方法，应用于基于双目视觉的中药小包装定位系统，所述系统包括运输中药小包装的传送带以及设置在传送带上的双目相机和用于抓取中药小包装的真空吸附泵，所述双目摄像机和真空吸附泵均与PLC控制器电性连接，所述方法包括以下步骤：

S1，双目相机采集中药小包装的图像；

S2，利用基于深度学习的YOLO-V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；

S3，对左、右两张图像进行立体匹配：选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；

S4，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；

S5，将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。

进一步的，所述步骤S1还包括双目相机标定，具体包括：

采用张定友标定法，使用Matlab中的立体相机标定模块对双目相机标定，获得畸变矩阵和相机内外参数。

进一步的，所述使用Matlab中的立体相机标定模块对双目相机标定，具体包括：

1)，分别使用左右相机分别拍摄33张不同角度的棋盘格，作为标定图片，并分别存储于两个文件夹中；

2)，Matlab工具箱中分别导入两个文件夹即输入标定板的网格尺寸；

3)，自动提取角点，并开始标定，删除误差较大的图片；

4)，重复步骤，直至得到理想结果。

进一步的，所述步骤S3中，选择ORB算法进行特征点提取，具体包括：