[发明专利]基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

权利要求书

1.基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于，其步骤包括：

1)离线利用深度学习方法对数据库中图像进行特征提取，其提取的特征用于在线图像分割与目标识别；

2)嵌入式PC机触发立体视觉传感器对场景的RGB图像和点云数据进行采集，利用RGB图像、点云数据和手眼标定算法实现手眼标定，计算安装于多轴机械臂上方的立体视觉传感器到多轴机械臂基坐标系的转移矩阵；

3)目标物的在线全局粗识别定位：利用步骤1)离线提取的特征对RGB图像进行预分割，对预分割区域进行区域合并，得到目标物的准确分割结果，提取目标物的点云数据，从而得到目标物的位置和姿态；通过步骤2)中得出的转移矩阵将目标物坐标及姿态转为多轴机械臂基坐标系下的坐标及姿态，然后对多轴机械臂的运动轨迹进行规划，控制多轴机械臂到达与目标物一定距离的待抓取位置；

4)目标物的在线局部精确定位：首先利用多轴机械臂末端关节处的彩色网络摄像头近距离采集目标物图像，用分水岭方法对目标物图像进行处理，得出手抓中心线与目标物中心线的左右偏移量，控制多轴机械臂运动，使手抓中心对齐目标物的中心位置；然后利用手抓位置处的单点激光测距传感器准确测量手抓到目标物的垂直距离；

5)多轴机械臂末端手抓对目标物进行准确抓取。

2.根据权利要求1所述的基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于：所述步骤3)中的得到目标物的准确分割结果的具体过程为：利用深度学习方法提取的特征对采集的图像进行预分割，设图像被预分割为N个区域，分别用U₁,U₂,…,U_N表示；根据场景点云数据特性，空间目标物表面的点云数据分布可由二次曲面得到较准确拟合，令函数f(a₁,a₂，…，a₁₀)表示欧式空间二次曲面，

f(a₁，a₂，…，a₁₀)＝a₁x²+a₂y²+a₃z²+a₄xy+a₅xz+a₆yz+a₇x+a₈y+a₉z+a₁₀

记由多项式系数构成的向量为a＝(a₁，a₂，…，a₁₀)；

针对预分割区域U_k(k＝1,2,…,N)，设

其中，(x_i,y_i,z_i)(i＝1,2,…,N_k)是对应区域U_k上的点云数据，N_k是区域中点云数，利用最小二乘方法计算其点云数据构成的二次曲面方程，令

得

Ma'＝0

其中，

通过矩阵运算求解线性方程可得到区域U_k的二次曲面方程系数构成的向量a^k，依据经验设定阈值d₀，计算预分割区域U_k(k＝1,2,…,N)任意两区域U_k,U_l的系数向量的欧式距离d_kl，

d_kl＝||a^k-a^l||

将d_kl＜d₀且U_k,U_l相邻的区域进行合并，得到目标物的最终准确分割结果。