[发明专利]一种基于深度学习的智能抓取系统及方法

权利要求书

1.一种基于深度学习的智能抓取系统，其特征在于，包括一多自由度的机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机，所述立体视觉设备固定设于所述机械臂基座，所述末端执行器和所述机械臂分别与所述WIFI中继模块通讯连接，所述立体视觉设备与所述工控机通讯连接，所述工控机与所述WIFI中继模块通讯连接。

2.一种基于深度学习的智能抓取方法，其特征在于，包括以下步骤：

(1)进行初始化；

(2)获取立体视觉设备的RGB彩色图像；

(3)加载训练好的深度神经网络模型；

(4)取得目标物体在图像中的位置及类别；

(5)获取所述目标物体中心点像素位置所对应的深度值；

(6)根据所述像素位置和深度值计算出目标物体在机械臂坐标系下的空间位置；

(7)判断该位置是否在机械臂工作空间内，若是，则执行后续机械臂运动操作；若否，则报错说明该目标物不在机械臂工作空间内；

(8)规划机械臂运动轨迹；

(9)发送控制命令让机械臂运动；

(10)当机械臂末端到达目标位置，发送末端执行器控制命令，实行抓取。

3.根据权利要求2所述的基于深度学习的智能抓取方法，其特征在于，所述立体视觉设备使用RGB-D立体视觉设备。

4.根据权利要求3所述的基于深度学习的智能抓取方法，其特征在于，还包括从所述RGB-D立体视觉设备中获取彩色图像和深度图像，根据任意彩色图像像素点的坐标(px,py)以及深度图像所对应像素点的深度值pz，得到彩色图像像素点所对应空间坐标(x,y,z)：

z＝pz/factor

x＝(px-cx)*pz/fx

y＝(py-cy)*pz/fy

其中，fx、fy、cx、cy、factor为相机内参，fx表示摄像机图像横轴方向上以像素为单位的焦距，fy为摄像机图像纵轴方向上以像素为单位的焦距，cx为摄像机光轴与图像中心在横轴方向上以像素为单位的差距，cy为摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，factor为比例因子。

5.根据权利要求4所述的基于深度学习的智能抓取方法，其特征在于，还包括将立体视觉坐标系下的坐标转换为机械臂坐标系下的坐标：

其中，(x’,y’,z’)为机械臂坐标系下的坐标，x0为x轴方向上的偏移量，y0为y轴方向上的偏移量，z0为z轴方向上的偏移量，旋转矩阵R为：

R＝R_x(α)R_y(β)R_z(θ)

其中，α为绕x轴的旋转量，β为绕y轴的旋转量，θ为绕z轴的旋转量。