[发明专利]一种基于深度强化学习的机械臂六自由度实时抓取方法

说明书

本发明涉及基于深度强化学习的机械臂六自由度实时抓取方法。包括如下步骤：步骤一：通过双目相机采集抓取操作台上物体的图像信息；步骤二：利用YOLOv5剪枝网络模型对图像进行目标检测训练；步骤三：建立强化学习网络模型；步骤四：通过机器人正逆运动学完成机械臂抓取移动；步骤五：进行强化学习模型训练，使得机械臂完成抓取动作；本发明克服现有技术的缺点，提出一种易实现、适用性高的，基于YOLOv5剪枝网络和Policy Gradient强化学习方法的实时物体检测系统，此系统在保证高精度的同时，可以实现快速实时的目标检测并完成抓取动作。

技术领域

本发明属于一种基于深度强化学习的机械臂实时抓取物体技术，具体涉及YOLOv5剪枝网络、Kinevt正逆运动学、CoppeliaSim Edu仿真软件和Policy Gradient强化学习策略。

背景技术

抓取作为机器人学的一个基本而重要的问题，尽管其至关重要，但对于这一问题的解决方案一直不能令人满意。但是，随着近年深度学习和强化学习的快速发展，为机械臂智能抓取方式提供了多方面的可行思路。实时目标检测技术是近年来计算机视觉领域中的研究热门，这种技术包括对轻量级目标检测网络的设计、目标数据集的制作，模型部署载体的研究等。其中，最浅显的应用之一在于准确，快速的智能分拣领域中，如无人流水线上的机器人智能分拣。

在无人的机器人智能分拣环境中，如何求得机械臂合适的抓取姿态一直是困扰机器人实现自主抓取目标对象的一大难题。在研究早期，Antonio Bicchi and Vijay Kumar等人致力于从通过传统的物理姿态分析，找到机械臂合适的抓取姿态。(Antonio Bicchiand Vijay Kumar.“Robotic grasping and contact:A review”.In:IEEE InternationalConference on Robotics and Automation(ICRA).Vol.1.IEEE.2000,pp.348–353.)。然而，这些基于物理分析的方法不仅需要计算大量的实验数据，这导致的必然是需要大量的时间和计算成本，同时必须具有准确的物体模型，而这些模型并不是总是通用的。故此很难将这些算法应用于未记录于数据集的目标对象。

随着深度学习和计算机视觉的发展，Lerrel Pinto and Abhinav Gupta等人提出了基于数据驱动或者学习的方法来解决这一问题。(Lerrel Pinto and Abhinav Gupta.“Supersizing selfsupervision:Learning to grasp from 50k tries and 700robothours”.In:2016IEEE international conference on robotics and automation(ICRA).IEEE.2016,pp.3406–3413.)。首先探索的是基于二维平面的抓取，Sulabh Kumra andChristopher Kanan等人通过学习数据集中的抓取姿态生成了二维平面相应姿态，在二维抓取指标上获得了很高的准确度。然而，二维平面抓取模型对抓取姿态有许多限制要求，机械臂末端抓取器只能沿自上而下的方向接近物体，而在实际应用过程中，这单一抓取方向极大地限制了机械臂智能抓取地应用，例如抓取器很难抓取一块水平放置的木板。