[发明专利]一种基于改进CenterNet的机械臂抓取检测方法

权利要求书

1.一种基于改进CenterNet的机械臂抓取检测方法，其特征在于，包括如下步骤：

S1、获取待检测图像对应的RGB图像及深度图像；

S2、对RGB图像及深度图像进行特征融合生成RGD图像；

S3、提取所述RGD图像的特征并生成待预测特征图；步骤S3包括：

S301、提取所述RGD图像的特征生成第一特征图；

S302、将第一特征图降维得到权重图；

S303、将权重图与第一特征图按对应的像素点相乘后再与第一特征图相加，得到待预测特征图；

S4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；

S5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息；抓取框信息包括抓取框中心点坐标x'及y'、抓取框尺寸w'及h'、抓取框旋转角度θ'，步骤S5中：

式中，及为抓取框预测中心点坐标，及为及对应的预测偏移量，及为抓取框预测尺寸，为抓取框预测旋转角度，为将限制在(0,1)范围内的激活函数。

2.如权利要求1所述的基于改进CenterNet的机械臂抓取检测方法，其特征在于，本方法基于训练后的抓取检测模型实现，所述抓取检测模型包括待预测特征图提取模型、第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，在对所述抓取检测模型进行训练时，首先对待预测特征图提取模型进行预训练，再对所述抓取检测模型进行端到端的训练，其中：

第一卷积神经网络的损失函数为L₁

式中，e＝10^-6，N为候选抓取框预测中心点个数，α及β均为超参数，为中心点热力图，Y为预处理后的标签。