[发明专利]面向杂质性目标的机器人操作协同抓取方法、系统及设备

说明书

本发明属于机器人领域，具体涉及了一种面向杂质性目标的机器人操作协同抓取方法、系统及设备，旨在解决现有杂质目标抓取过程中难以适应动态环境的问题。本发明包括：根据视觉传感器获得工作区域的初始彩色图像和初始深度图像，分别提取第一图像、第二图像；所述第一图像为目标可见情况下的局部掩膜图像，所述第二图像为目标不可见情况下最大物体聚集区域的局部全一掩膜图像；利用所述第一图像或所述第二图像，采用操作动作协调机制，利用预构建的操作动作原语策略网络获取输出动作；机器人基于所述输出动作转化的控制指令进行动作。本发明可实现密集杂乱环境下杂质性目标的鲁棒抓取，并且不需要庞大的训练数据，能够适应动态环境。

技术领域

本发明属于机器人领域，具体涉及了一种面向杂质性目标的机器人操作协同抓取方法、系统及设备。

背景技术

机器人抓取操作在工业生产、家庭服务、医疗健康、太空探索等领域有广泛的应用。然而受到物体形态、材质、环境动态性等复杂因素的影响，如何进行智能化地抓取仍是机器人领域面临的一个具有挑战性的问题。

目前机器人抓取操作技术研究可以分为单一技能抓取操作技术和多技能协同抓取操作技术两大类。机器人单一技能抓取操作，即传统的直接抓取操作，是指通过对抓取目标或抓取场景的分析，控制机械臂末端机械手完成对物体的抓取。但在密集场景下，物体之间间隙很小且相互遮挡，抓取动作由于受到周边物体的影响而难以实施。机器人多技能协同抓取操作是指机器人通过多种操作动作(包括抓取、推动、滑动、吸取等)的组合实现抓取目的。该方式通过多种动作技能的组合改变杂乱密集场景中物体的分布，为更有效率的抓取提供条件，可大大提高机器人抓取操作的成功率以及对环境的适应能力。

在工业生产领域，杂质物体的挑拣一直由人工完成，费时费力且难以获得满意的效果。现有的机器人抓取操作虽然可以针对目标开展抓取，但存在训练数据庞大、难以适应动态环境等问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有杂质目标抓取过程中难以适应动态环境的问题，本发明提供了一种面向杂质性目标的机器人操作协同抓取方法，该方法包括：

步骤S100，根据视觉传感器获得工作区域的初始彩色图像和初始深度图像，分别提取第一图像、第二图像；所述第一图像为目标可见情况下的局部掩膜图像，所述第二图像为目标不可见情况下最大物体聚集区域的局部全一掩膜图像；

步骤S200，利用所述第一图像或所述第二图像，采用操作动作协调机制，利用预构建的操作动作原语策略网络获取输出动作；

步骤S300，机器人基于所述输出动作转化的控制指令进行动作。

在一些优选的实施方式中，所述第一图像，其提取方法为：

基于所述彩色图像，采用显著性检测算法，获取图像中显著性数值大于或等于设定阈值的区域，输出以最大区域为中心的局部掩膜图像。

在一些优选的实施方式中，所述第二图像，其提取方法为：

基于所述深度图像，采用密度估计算法，检测工作平面中的物体聚集区域的设定类别的几何信息大于或等于设定阈值的区域，输出以最大区域为中心的局部全一掩膜图像。

在一些优选的实施方式中，所述设定类别的几何信息包括面积和高度；

设定类别的几何信息大于或等于设定阈值的区域，为面积大于或等于面积阈值且最大高度大于或等于高度阈值的区域。

在一些优选的实施方式中，所述操作动作原语策略网络采用全卷积神经网络架构；输入为第三图像、第四图像，所述第三图像、第四图像分别为同等大小的彩色图像、深度图像；输出为相同尺寸的Q值表；操作动作原语策略网络的训练采用深度强化学习算法DQN进行，当动作执行成功率超过设定阈值时，策略网络学习停止。