[发明专利]一种基于改进CenterNet的机械臂抓取检测方法

说明书

本发明公开了一种基于改进CenterNet的机械臂抓取检测方法，将待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量；基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。本发明首次引入候选抓取框预测中心点检测的思想到机械臂的到抓取检测中，采用目标检测中的CenterNet网络模型，该模型不需要设置大量的超参数，使得检测更加简单，提高了机械臂抓取检测的检测速率已经对应的神经网络训练的效率。

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于改进CenterNet的机械臂抓取检测方法。

背景技术

近年来，随着计算机技术的发展，计算机视觉作为人工智能的一个重要研究领域，已经广泛应用于各行各业，其中基于视觉的机械臂抓取也逐渐成为当前的一个研究热点。在机械臂抓取任务中，主要有传统方法抓取和基于计算机视觉的抓取两种。传统一般是采用人工示教的方式，如手掰机械臂，使机械臂到某个固定位置进行抓取。由于抓取位姿凭靠的使记忆且机械臂自身没有感知能力，因而在执行任务时容易受到外界环境中许多不确定因素的影响。计算机视觉解决机械臂抓取问题的通常做法是，首先利用相机等采集设备对目标进行采样，然后结合模式识别、图像处理等方法分析和处理得到目标物体的空间位置和姿态等有效信息，最后利用所得信息使机械臂完成抓取动作。深度学习应用于机械臂抓取任务中的优势在于不需使用者预先选定提取何种特征，而是采用一种通用的学习过程使模型从大规模数据中学习进而学得目标具备的特征。

在深度学习的目标检测算法中，基于Anchor-based的方法使得one-stage算法性能能够挑战two-stage。同样在抓取检测中Anchor-based方法能借助预先设置的先验信息提升检测效果。在抓取检测中采用Anchor box的先验机制，可以降低了直接进行回归计算的难度。定向Anchor box先验机制，合理引入了抓取检测中旋转角度参数的先验信息，提高了检测的正确率。但Anchor-based方法严重增加了超参数的数量以及网络的复杂度，从而降低了训练的效率和检测的速率。

因此，如何提高机械臂抓取检测的检测速率已经对应的神经网络训练的效率，成为了本领域技术人员急需解决的问题。

发明内容

针对现有技术中存在的上述不足，本发明实际需要解决的问题是：如何提高机械臂抓取检测的检测速率已经对应的神经网络训练的效率。

为解决上述技术问题，本发明采用了如下的技术方案：

一种基于改进CenterNet的机械臂抓取检测方法，包括如下步骤：

S1、获取待检测图像对应的RGB图像及深度图像；

S2、对RGB图像及深度图像进行特征融合生成RGD图像；

S3、提取所述RGD图像的特征并生成待预测特征图；

S4、将所述待预测特征图分别输入第一卷积神经网络、第二卷积神经网络及第三卷积神经网络，第一卷积神经网络输出抓取框预测中心点坐标，第二卷积神经网络输出抓取框预测偏移向量，第三卷积神经网络输出抓取框预测尺寸与抓取框预测旋转角度向量，其中，第一卷积神经网络对待预测特征图进行预测，得到中心点热力图，将中心点热力图中值大于预设阈值的像素点作为候选抓取框预测中心点，将值最大的候选抓取框预测中心点作为抓取框预测中心点；

S5、基于抓取框预测中心点坐标、抓取框预测偏移向量及抓取框预测尺寸与抓取框预测旋转角度向量计算最终的抓取框信息。

优选地，步骤S3包括：

S301、提取所述RGD图像的特征生成第一特征图；

S302、将第一特征图降维得到权重图；