[发明专利]一种基于双目视觉的中药小包装定位方法

权利要求书

1.一种基于双目视觉的中药小包装定位方法，应用于基于双目视觉的中药小包装定位系统，所述系统包括运输中药小包装的传送带以及设置在传送带上的双目相机和用于抓取中药小包装的真空吸附泵，所述双目摄像机和真空吸附泵均与PLC控制器电性连接，其特征在于，包括以下步骤：

S1，双目相机采集中药小包装的图像；

S2，利用基于深度学习的YOLO-V4目标识别算法对左图像进行识别，得到中药小包装中心点的坐标；

S3，对左、右两张图像进行立体匹配：选择ORB算法进行特征点提取，并使用改进的RANSAC算法进行单应性矩阵计算，以获得中心点在右图像中的匹配坐标；

S4，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标；

S5，将三维坐标传递给PLC，控制真空吸附泵完成药包的抓取。

2.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S1还包括双目相机标定，具体包括：

采用张定友标定法，使用Matlab中的立体相机标定模块对双目相机标定，获得畸变矩阵和相机内外参数。

3.根据权利要求2所述的基于双目视觉的中药小包装定位方法，其特征在于，所述使用Matlab中的立体相机标定模块对双目相机标定，具体包括：

1)，分别使用左右相机分别拍摄33张不同角度的棋盘格，作为标定图片，并分别存储于两个文件夹中；

2)，Matlab工具箱中分别导入两个文件夹即输入标定板的网格尺寸；

3)，自动提取角点，并开始标定，删除误差较大的图片；

4)，重复步骤，直至得到理想结果。

4.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S3中，选择ORB算法进行特征点提取，具体包括：

1)，设P为特征点，以其为中心选取大小为S*S的方形邻域进行高斯平滑；

2)，在领域内用随机算法生成N个点对，定义判定函数T；

式中，p(x)、p(y)表示x、y的灰度值；

3)，从随机生成的点对中选取一对(x，y)，比较其灰度值大小；

4)，重复步骤3)N次，得到二进制码组成的N维描述符：

将关键点周围要用来计算的坐标组成的采样矩阵S如式(3)：

式(3)给出特征点方向参数θ，其对应的旋转矩阵R_θ:

对矩阵S进行校正:

S_θ＝R_θS (5)

最后旋转的描述子表示为：

G_n(P,θ)＝f_N(P)|(x_i,y_i)∈S_θ (6)

5.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S3中，使用改进的RANSAC算法进行单应性矩阵计算，具体包括：

1)，定义匹配质量E：

E＝γ*r (7)

式中，γ为Lowe’s算法通过计算最邻近距离和次邻近距离的比值；r为ORB算法提取到的特征向量的距离；

2)，根据匹配质量E对特征点对进行升序排序组成特征点对匹配集合；

3)，选取E值最小的四个点初始化单应性矩阵，然后依次从排好序的特征点集合中选取4个点计算单应矩阵H；

4)，若使用单应性矩阵计算得到的内点个数大于m时，则认为H为最优的单应性矩阵，其中m＝αN，α为内点个数占总特征点个数的比值，取0.8。

6.根据权利要求1所述的基于双目视觉的中药小包装定位方法，其特征在于，所述步骤S4中，根据双目视觉测距原理，通过计算出左、右两张图像的视差，计算深度信息，对中药小包装的中心点进行三维重建，得到中药小包装的三维坐标，具体包括：

设左图像平面中的像素坐标P_left(X_left,Y_left)，在右图像平面中匹配的像素坐标P_right(X_right,Y_right)，根据下式求出该点在相机坐标系下在Z轴坐标，即深度信息：

式中，B为左右图像平面投影中线点之间的距离，f表示相机焦距，在平行双目视觉模型中P点在左右图像平面中的Y轴上的坐标相等，即Y_left＝Y_right＝Y，视差d＝X_left-X_right。