[发明专利]一种基于深度学习的双臂协作抓取方法

权利要求书

1.一种基于深度学习的双臂协作抓取方法，包括如下步骤：

S1：构建右机械臂的抓取检测模型，实现对抓取位姿的估计，具体包括：

S11：抓取检测模型主干网络部分的设计：主干网络部分以Darknet-53网络为基础，以提取目标特征；

S12：抓取检测模型特征融合部分的设计：特征融合部分的设计采用类似FPN的上采样和融合的方式，融合了三种不同的特征尺度和/在多个尺度的特征融合图上分别做独立的抓取位置检测，提升网络在较小抓取位置处的检测精度；

S13：抓取检测模型输出结果部分的设计：输出结果部分采用多尺度预测的思想，让S12中的三种不同特征尺度的特征图分别经历一系列卷积操作后，将通道数减少到固定值，最后在此基础上进行抓取框的预测；抓取框定义为：

R＝{x,y,w,h,confidence,c,α} (1)

其中，x与y分别表示抓取框中心点的横坐标与纵坐标，w与h分别表示抓取框的宽度及长度，confidence表示该抓取框的置信度；将机械臂抓取旋转角度θ的预测转化为预测抓取框类别c和回归部分具体角α的组合问题，定义为：

θ＝c×δ+α (2)

其中，c∈{0,1,2,...,n}，n∈N；将旋转角度θ从0°～180°每间隔δ为一类，依次划分为个类别；α表示检测模型回归预测的部分具体角度，α∈[0°,δ)；

S14：抓取检测模型的损失函数设计：损失函数分为中心偏移损失L_xy、宽高损失L_wh、置信度损失L_con、类别损失L_class以及旋转角部分具体角度损失L_α；上述损失函数定义为：

其中，S²表示网格的数量，B表示每个网格产生的候选框数量；表示第i个网格的第j个候选框是否负责这个对象的预测，如果负责预测，则/反之，则/σ()表示sigmoid函数；S²、B、σ()和/含义下同；λ_xy表示中心偏移损失的加权系数，/与/分别表示第i个网格的第j个候选框所预测的中心点横、纵坐标，/与/则表示相应的真实候选框中心点横、纵坐标；其损失函数采用BCE损失函数；

其中，λ_wh表示宽高损失的加权系数，与/分别表示第i个网格的第j个候选框所预测的宽、高值，/与/则表示相应的真实候选框的宽、高值；其损失函数采用MSE损失函数；

其中，λ_con表示置信度损失的加权系数；由于图像中大部分内容是不包含待检测抓取框的，因此引入无对象加权系数λ_noobj，来避免模型倾向于预测网格内无对象；表示第i个网格的第j个候选框所预测的置信度值，/则表示相应的真实候选框的置信度值；

其中，λ_class表示类别损失的加权系数；表示第i个网格的第j个候选框所预测的类别，则表示相应的真实候选框的类别；

其中，λ_α表示部分具体角度损失的加权系数；表示第i个网格的第j个候选框所预测的部分具体角，/则表示相应的真实候选框的部分具体角；其损失函数采用SmoothL1函数；

故，模型总损失定义为：

L_detect＝L_xy+L_wh+L_con+L_c+L_α (8)

S2：构建左机械臂的遮挡检测模型，实现对移除遮挡物位姿的估计，具体包括：

S21：遮挡检测模型网络的设计：左机械臂的末端抓取结构是一个依靠虹吸效应的吸盘；也就是说，它在移除遮挡物的操作上不需要像右臂抓取那样进行精确的抓取框计算；在这个情况下，以检测精度的降低来换检测速度的提高是一个不错的策略；遮挡检测模型网络是在右机械臂的抓取检测模型网络的基础上，通过对通道进行剪枝，减少网络参数冗余得来；具体剪枝步骤如下：

S22：在S21中的模型网络中，除了输出结果部分外，其余每个卷积层后都有一个BN层；对这些卷积层进行带比例因子的归一化，具体定义如下：

其中，σ²和分别代表一个min-batch里的方差和均值，γ和β分别表示可训练的比例因子和偏移量；

S23：为了合理、有效地区分重要的通道和不重要的通道，通过对S22中比例因子γ使用sign()函数来进行通道稀疏性训练，具体定义如下：

其中，ξ是惩罚因子；

S24：引入全局阈值η和安全阈值μ；全局阈值用来确定是否要修剪特征通道，以控制修剪比例；安全阈值防止卷积层通道的过度修剪，并保持网络连接的完整性；当S23中的比例因子γ小于η与μ二者最小值时，开始修剪通道；

S25：根据全局阈值和安全阈值为所有卷积层初始化一个剪枝遮罩；丢弃原网络结构中的maxpool层与upsample层；route层按顺序连接其接入层的剪枝遮罩，并将其接入层的遮罩作为route层的剪枝遮罩；保证所有与shortcut连接的图层都有相同的通道数；

S26：在S25的基础上，遮挡检测模型还需要在训练集上进行参数微调以及手动剪枝；

S27：迭代S22至S26，直至结果合理、有效；

S3：S1与S2中的目标检测模型在实时检测时，需要先对相机采集的输入图像进行尺寸上的预处理；最终目标检测模型预测得到待抓取物体、障碍物在像素坐标系下的抓取位姿；

S31：模型的抓取框筛选算法设计：抓取框的筛选算法能解决同一图像的多重抓取框问题，通过局部最大搜索，提取检测结果中置信度最高的抓取框；

S4：采用ROS系统作为操作双机械臂的通信系统；

S41：调用左臂遮挡检测模型，识别有无遮挡物；若有，将遮挡物抓取框的位置和旋转角通过ROS话题‘shadow’发送到订阅该话题的左臂系统,以便左臂展开移除遮挡物的操作；若无，则直接进入S43；

S42：再次调用遮挡检测模型，确认无遮挡物；若有，则重复S41操作；

S43：调用右臂抓取检测模型，识别待抓取物体的抓取框；若有，将抓取框的位置和旋转角通过ROS话题‘box’发送到订阅该话题的右臂系统，以便右臂展开抓取操作；若无，则退出程序；

S44：重复S43操作至进程终止。

2.如权利要求1所述的一种基于深度学习的双臂协作抓取方法，其特征在于：步骤S31所述的算法具体包括：

S311.按照置信度排列相应的抓取框；

S312.选取最大的作为初始保留框，并删除与其IOU大于设定阈值的框；

S313重复执行步骤S312中操作，直至遍历所有抓取框。