[发明专利]一种基于深度学习的智能抓取系统及方法

说明书

本发明公开了一种基于深度学习的智能抓取系统，包括一多自由度的机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机。本发明还公开了一种基于深度学习的智能抓取方法，通过训练深度学习的神经网络模型，结合图像处理技术，识别出目标物体在三维空间中的位置及物体种类，然后控制该机械臂对目标物体进行抓取。采用本发明能极大地提高目标物体识别率及定位准确率，适合复杂场景下的物体抓取任务。

技术领域

本发明涉及自动控制领域，尤其涉及一种基于深度学习的智能抓取系统和智能抓取方法。

背景技术

多自由度机械臂具有高速、灵活等特点，在生产生活中扮演着重要的角色，应用越来越广泛。然而，大部分的机械臂都是工作在已知的工作环境中。若环境发生变化，则需要对机械臂做出相应调整。机械臂自主适应未知环境的能力较差。例如在工业生产中，大部分机械臂均采用固定运动轨迹的方式进行生产，其并不具备智能特性。为了使机械臂智能化，具有自主从未知环境中获取信息的能力，需要给机械臂配备各种外部传感器，如触觉、距离和视觉传感器等。其中视觉传感器具有信号范围大、信息完整等特点，被认为是最重要的传感器。

目前，基于视觉的机械臂抓取方法大多采用传统图像处理的方法，在复杂环境下物体识别率及定位准确率较低，大多只能工作在简单特定的环境中，对工作场景及光线要求很高，无法满足室外及复杂环境下抓取任务的要求。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于深度学习的智能抓取系统及方法。可通过深度学习与图像处理以及机械臂的结合，能极大地提高物体识别率及定位的准确率，适合复杂场景下的物体抓取任务。

为了解决上述技术问题，本发明实施例提供了一种基于深度学习的智能抓取系统，包括一多自由度的机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机，所述立体视觉设备固定设于所述机械臂基座，所述末端执行器和所述机械臂分别与所述WIFI中继模块通讯连接，所述立体视觉设备与所述工控机通讯连接，所述工控机与所述WIFI中继模块通讯连接。

相应地，本发明实施例还提供了一种基于深度学习的智能抓取方法，包括以下步骤：

(1)进行初始化；

(2)获取立体视觉设备的RGB彩色图像；

(3)加载训练好的深度神经网络模型；

(4)取得目标物体在图像中的位置及类别；

(5)获取所述目标物体中心点像素位置所对应的深度值；

(6)根据所述像素位置和深度值计算出目标物体在机械臂坐标系下的空间位置；

(7)判断该位置是否在机械臂工作空间内，若是，则执行后续机械臂运动操作；若否，则报错说明该目标物不在机械臂工作空间内；

(8)规划机械臂运动轨迹；

(9)发送控制命令让机械臂运动；

(10)当机械臂末端到达目标位置，发送末端执行器控制命令，实行抓取。

进一步地，所述立体视觉设备使用RGB-D立体视觉设备。

更进一步地，还包括从所述RGB-D立体视觉设备中获取彩色图像和深度图像，根据任意彩色图像像素点的坐标(px,py)以及深度图像所对应像素点的深度值pz，得到彩色图像像素点所对应空间坐标(x,y,z)：

z＝pz/factor

x＝(px-cx)*pz/fx

y＝(py-cy)*pz/fy