[发明专利]一种基于深度相机的机械臂抓取系统和控制方法

权利要求书

1.一种基于深度相机的机械臂抓取控制方法，其特征在于：所述方法采用一种基于深度相机的机械臂抓取控制系统进行，所述系统包括机械臂机构(3)、AGV小车(4)、深度摄像头(2)、计算机(1)和遥控器(5)，所述机械臂机构(3)包括机械臂、安装于机械臂末端的夹爪，且所述机械臂机构(3)安装在所述AGV小车(4)上；所述遥控器(5)与计算机(1)相连，用于发送信息到计算机(1)；所述深度摄像头(2)用于采集目标物体的图像，且与计算机(1)相连以将采集到的图像传输给计算机(1)；所述计算机(1)搭载并运行ROS，用于获得目标物体最佳抓取点的位姿和位置坐标并发送抓取指令给所述机械臂机构(3)，所述方法包括以下步骤：

通过所述遥控器(5)控制所述AGV小车(4)到达目标物体的抓取范围内；

所述深度摄像头(2)采集目标物体的图像，并将图像传输给所述计算机(1)；

所述计算机(1)通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标，并根据所述位姿和所述位置坐标进行运动规划，发送抓取指令到所述机械臂机构(3)；

所述机械臂机构(3)根据所述抓取指令抓取目标物体；

其中，所述通过基于深度学习框架下的目标检测算法计算目标物体最佳抓取点的位姿和位置坐标中，所述目标检测算法具体包括以下步骤：

将从深度摄像头获取的图像进行预处理，再划分为S×S的格子网络；

每个格子输出B个预测框信息，以及C个目标属于某类的概率，C表示目标检测分类的种类；所述预测框信息包括(x,y,w,h,confidence)，x,y表示预测框中心与该格子边界的相对值，w,h表示预测框的宽度和高度相对整幅图像的宽度和高度的比例，confidence＝P(obj)*IoU，P(obj)为当前格子有目标的概率，IoU表示两个预测框的重叠率，通过w、h的比值得到位姿；

计算每一个预测框的置信度，选出物体在图像中的像素位置；

通过建立的三维坐标模型，转化得到目标物体的三维坐标。

2.根据权利要求1所述的一种基于深度相机的机械臂抓取方法，其特征在于：所述控制系统中，所述计算机(1)的操作系统为Ubuntu16.04，基于ROS对机械臂机构和AGV小车进行控制。

3.根据权利要求1所述的一种基于深度相机的机械臂抓取方法，其特征在于：所述控制系统中，计算机(1)通过基于Python开发的universal robot工具包urx连接机械臂机构(3)并发送抓取指令。

4.根据权利要求1所述的一种基于深度相机的机械臂抓取控制方法，其特征在于，所述根据所述位姿和所述位置坐标进行运动规划中，使用一个movel函数实现机械臂末端的位置控制，movel函数的定义如下：

def movel(self,tpose,acc＝0.01,vel＝0.01,wait＝True)，movel函数有四个关键的参数：

tpose表示机械臂相对抓取目标的状态(v,u,z,rv,ru,rz)，其中，以机械臂的末端为坐标原点建立三维坐标系，机械臂的末端垂直于地面，以机械臂末端到地面为z轴正方向，v,u与z轴垂直且互相垂直，(v,u,z)表示机械臂的末端分别在v、u、z方向上的运动距离，(rv,ru,rz)为机械臂的末端分别围绕v、u、z方向旋转的角度；acc表示机械臂末端的加速度，具有默认值0.01；vel表示机械臂末端的运动速度，具有默认值0.01；wait表示是否停顿，计算出最佳抓取点的位姿后，位姿均分到v、u、z三个方向上，得到v,u,z,rv,ru,rz的值，由此实现机械臂的自动控制。

5.根据权利要求1-4任一所述的一种基于深度相机的机械臂抓取控制方法，其特征在于，所述遥控器(5)的遥控手柄的控制信息以话题的方法发布到计算机(1)，各控制按钮对应各定义的指令，所述控制按钮包括恒速方向按钮、变速方向摇杆、启动停止按钮，所述AGV小车的轮子速度控制采用速度环-电流环双环结构，控制流程包括：

S1、遥控手柄发布目标速度值V1，目标速度值V1输入速度控制器；

S2、速度控制器的输出进行滤波和电流限幅操作得到电流信号I1；

S3、电流信号I1和电流环反馈信号作差输入电流控制器得到电流信号I2；

S4、电流信号I2直接输出到AGV小车的伺服电机，由安装的速度反馈模块得到小车运动速度值V2反馈到速度控制器，形成速度环；

所述的速度控制器、电流控制器是PID控制器，PID控制器包括P(比例)、I(积分)、D(微分)三个部分，PID控制器的表达式为：

其中e(t)＝r(t)-y(t)，e(t)为系统输入值和输出值的差值，r(t)为系统的输入值，y(t)为系统的输出值，u(t)为控制器的输出值，K_p为比例增益系数，K_i为积分增益系数，K_d为微分增益系数。