[发明专利]一种基于深度学习的双臂协作抓取方法

说明书

本发明公开了一种基于深度学习的双臂协作抓取方法，包括首先构建右臂抓取检测模型，通过数据集训练，来让模型达到识别未知物体的抓取位置的效果；通过在抓取检测模型的基础上加入通道剪枝训练，来得到一个轻量的左臂遮挡检测模型，大大加快检测速度；用相机采集操作画面，对图像进行尺寸上的变化和预处理，以便模型更好的操作；最后将检测到的信息按照一定逻辑通过ROS系统与机器人进行通信，以实现清除遮挡物、抓取物体的操作。本发明将深度学习与双臂协作的思想带入到非结构化的物体抓取中，提高了抓取的效率。同时由剪枝训练得到轻量级左臂遮挡检测模型，更进一步加快了操作的速度。

技术领域

本发明属于机器人智能控制与计算机视觉领域，是一种基于深度学习的双臂协作抓取方法。

背景技术

随着科学技术和社会的发展，机器人的应用领域不断扩大，逐步进入医药生化、家庭清洁、医疗康复等服务业领域中。在这些新应用领域，传统机器人已经无法满足用户需求，开发能够与环境共融的智能协作机器人是当前国内外高校、研究机构的热门、前沿领域。在一背景下，研究一种方法来打破现有机器人在杂乱环境中自主拾取、放置物体的局限性具有重要意义。

传统机器人往往工作在结构化环境中，采用人工设计的待抓取物体的特征和三维模型来建立数据库，保存抓取经验等方法。这种方法在当前越来越多的非结构化环境中暴露出极大的局限性，因为非结构化环境中，如家庭、药房等，包含大量未知物体，且待抓取物体的尺寸存在变化以及物体间存在重叠遮挡等诸多因素。针对此问题，常用的方法是基于深度学习的方法，例如神经网络等，通过迭代训练得到深度学习模型。依靠深度学习模型的鲁棒性和强泛化能力，将抓取经验迁移到未知物体的抓取上。

但一方面，为了提高抓取框检测的精确度，网络结构也越来越复杂，随之带来的是预测时间的变长以及对硬件性能要求的提高；另一方面，单机械臂在有遮挡物时抓取效率变低。因此，如何在利用深度学习方法的同时，兼顾网络的效率和实时性，同时使用双臂协作的方法提高抓取效率就成为协作机器人急需解决的一个问题。

发明内容

针对目前存在的问题，本发明提供了一种基于深度学习的双臂协作抓取方法。该方法能够在减少网络模型参数量的同时，不影响抓取的速度和精度，以满足其实时抓取的要求，也保障其在非结构环境下的自主抓取的能力。

本发明为达上述目的，所采用的技术方案为，一种基于深度学习的双臂协作抓取方法，包括以下步骤：

S1：构建右机械臂的抓取检测模型，实现对抓取位姿的估计，具体包括：

S11：抓取检测模型主干网络部分的设计：主干网络部分以Darknet-53网络为基础，以提取目标特征。

S12：抓取检测模型特征融合部分的设计：特征融合部分的设计采用类似FPN的上采样和融合的方式，融合了三种不同的特征尺度和/在多个尺度的特征融合图上分别做独立的抓取位置检测，提升网络在较小抓取位置处的检测精度。

S13：抓取检测模型输出结果部分的设计：输出结果部分采用多尺度预测的思想，让S12中的三种不同特征尺度的特征图分别经历一系列卷积操作后，将通道数减少到固定值，最后在此基础上进行抓取框的预测。抓取框定义为：

R＝{x,y,w,h,confidence,c,α} (1)

其中，x与y分别表示抓取框中心点的横坐标与纵坐标，w与h分别表示抓取框的宽度及长度，confidence表示该抓取框的置信度。本发明将机械臂抓取旋转角度θ的预测转化为预测抓取框类别c和回归部分具体角α的组合问题，定义为：

θ＝c×δ+α (2)

其中，c∈{0,1,2,...,n}，n∈N。将旋转角度θ从0°～180°每间隔δ为一类，依次划分为个类别；α表示检测模型回归预测的部分具体角度，α∈[0°,δ)。