[发明专利]基于深度学习与双目视觉的碳素块检测方法及系统

权利要求书

1.基于深度学习与双目视觉的碳素块检测方法，其特征在于，包括以下步骤：

步骤1：通过双目视觉相机标定与手眼标定进行坐标系转换；

步骤2：通过双目立体匹配算法获取视差图，利用视差图匹配碳素块定位坐标进行碳素块位置的初始化；

步骤3：对滚筒带上的碳素块进行运动目标检测并控制双目视觉相机拍照；

在所述步骤3中，包括以下子步骤：

步骤3.1：当碳素块经滚筒带运输到工作区域，控制双目视觉相机拍摄左右图像，对图像进行包括去噪和灰度化的预处理；

步骤3.2：通过背景差分算法进行背景与前景的分离，设置第一帧图像的灰度图作为初始化背景，与第二帧图像对应像素点的灰度值进行差分计算，获得差分图像，对该差分图像进行二值化处理后再进行形态学腐蚀操作，得到图像前景边缘轮廓；通过Gabor小波算法对图像进行边缘特征提取，在不同尺度和方向上进行多维度的滤波，得到不同的边缘特征；将图像前景边缘轮廓和Gabor小波算法提取的边缘特征图像进行图像“与”操作，利用Gabor小波算法消除背景差分算法的误匹配区域，计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.3：将第二帧图像作为新的初始化背景，与第三帧图像进行差分计算，获得新的差分图像，并计算新的差分图像中图像前景边缘轮廓占整个图像的面积比例，依次类推，不断更新初始化背景并计算图像前景边缘轮廓占整个图像的面积比例；

步骤3.4：当比例超过设定阈值时，则判定画面中有运动的物体；背景图与前景图趋于稳定状态，则判定画面中目标碳素块静止，控制双目视觉相机对碳素块拍照；

步骤4：利用深度学习算法识别碳素块的种类、定位其坐标并获取平面旋转角度，并计算坐标偏移量和平面旋转角度偏移量；

步骤5：通过Socket将碳素块种类、坐标偏移量和平面旋转角度偏移量传输给机器人，识别与定位过程结束。

2.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤1中，首先进行双目视觉相机进行标定，利用双目视觉相机同时拍摄多组标定图像，获取相机内外参数，利用相机内参数矫正图像畸变，利用相机外参数进行像素坐标系与世界坐标系转换；然后进行机器人与双目视觉相机的手眼标定，进行相机坐标系到机器人坐标系的转换关系。

3.根据权利要求2所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，步骤1中的手眼标定具体过程为：通过机器人机械手拿取标定板，固定双目视觉相机位置不动，拍摄机械手不同位姿下的标定板，获取多组机械手位姿参数和双目视觉相机位姿参数，利用Eye-To-Hand手眼标定算法完成双目视觉相机到机器人的坐标系转换，转换公式为AX=XB，其中A表示机器人工具坐标系到机器人基础坐标系的转换矩阵，B表示为相机坐标系到标定板坐标系的转换矩阵，X表示为相机坐标系到机器人坐标系的转换矩阵。

4.根据权利要求1所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，在所述步骤2中，包括以下子步骤：

步骤2.1：双目视觉相机拍摄碳素块的左右图像，对左右图像进行畸变矫正；

步骤2.2：将畸变矫正后的图像输入深度学习算法模型识别初始碳素块类型，并定位碳素块在图像中的位置，获取碳素块的定位点初始二维坐标和初始平面旋转角度；

步骤2.3：通过算法模型判断碳素块的类型是否识别成功，若识别失败，则对工作人员进行警告操作，工作人员结束该过程，若识别成功，则进入步骤2.4；

步骤2.4：通过双目立体匹配算法获取矫正后左右图像的视差图；

步骤2.5：视差图与碳素块的定位点初始二维坐标进行匹配并计算该点的初始三维坐标；

步骤2.6：记录识别的初始碳素块类型、定位点初始三维坐标和初始平面旋转角度，完成碳素块初始化。

5.根据权利要求4所述的基于深度学习与双目视觉的碳素块检测方法，其特征在于，所述步骤3.2中：对差分图像进行大津算法二值化处理：

；

通过阈值threshold进行前后背景分割，大于阈值threshold的像素设定为maxval，小于阈值threshold的像素设定为0，图像被分成背景和前景两部分。