[发明专利]基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

说明书

本发明涉及机器人领域，尤其是涉及一种基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法，其不同之处在于，本发明所采用的硬件设备包括多轴机械臂，立体视觉传感器，彩色网络摄像头，单点激光测距传感器，嵌入式PC机；本发明的抓取方法整体通过离线和在线结合的方式，首先完成基于深度学习方法的特性提取和手眼标定，然后采用全局粗识别定位与局部精确定位相结合的方法，实现了目标准确识别与精确抓取。本发明可实现场景中任意目标的准确识别与精确抓取操作，精确性高，实用性强。

技术领域

本发明涉及机器人领域，尤其是涉及一种基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法。

背景技术

深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它是模拟人脑思考问题的一种对图像、文字等数据进行解释的算法。

随着机器人技术与深度学习方法的应用与发展，深度学习被越来越多的应用于图像分割中，然而受立体视觉传感器精度与图像分割准确性的影响，且因目标存在多样性，机器人视觉伺服抓取智能化能力受到限制。

发明内容

本发明的目的在于克服现有技术的缺点，提供一种基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法，实现了目标准确识别和精确抓取，精确性高，实用性强。

为实现上述目的，本发明采用以下技术方案：基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于，其步骤包括：

1)离线利用深度学习方法对数据库中图像进行特征提取，其提取的特征用于在线图像分割与目标识别；

2)嵌入式PC机触发立体视觉传感器对场景的RGB图像和点云数据进行采集，利用RGB图像、点云数据和手眼标定算法实现手眼标定，计算安装于多轴机械臂上方的立体视觉传感器到多轴机械臂基坐标系的转移矩阵；

3)目标物的在线全局粗识别定位：利用步骤1)离线提取的特征对RGB图像进行预分割，对预分割区域进行区域合并，得到目标物的准确分割结果，提取目标物的点云数据，从而得到目标物的位置和姿态；通过步骤2)中得出的转移矩阵将目标物坐标及姿态转为多轴机械臂基坐标系下的坐标及姿态，然后对多轴机械臂的运动轨迹进行规划，控制多轴机械臂到达与目标物一定距离的待抓取位置；

4)目标物的在线局部精确定位：首先利用多轴机械臂末端关节处的彩色网络摄像头近距离采集目标物图像，用分水岭方法对目标物图像进行处理，得出手抓中心线与目标物中心线的左右偏移量，控制多轴机械臂运动，使手抓中心对齐目标物的中心位置；然后利用手抓位置处的单点激光测距传感器准确测量手抓到目标物的垂直距离；

5)多轴机械臂末端手抓对目标物进行准确抓取。

按以上技术方案，所述步骤3)中的得到目标物的准确分割结果的具体过程为：利用深度学习方法提取的特征对采集的图像进行预分割，设图像被预分割为N个区域，分别用U₁，U₂，...，U_N表示；根据场景点云数据特性，空间目标物表面的点云数据分布可由二次曲面得到较准确拟合，令函数f(a₁，a₂，…，a₁₀)表示欧式空间二次曲面，

f(a₁：a₂，...，a₁₀)＝a₁x+a₂y+a₃z²+a₄xy+a₅xz+a₅yz+a₇x+a₈y+a₉z+a₁₀

记由多项式系数构成的向量为a＝(a₁，a₂，...，a₁₀)；