[发明专利]一种基于多类别目标分割的机器人抓取检测方法

说明书

本发明公开了一种基于图像分割技术的抓取检测方法，该方法使用图像分割技术，将目标物体从杂乱的场景中分割出来，对只含有目标信息的图像做抓取检测。通过这种方法消除了背景信息对抓取检测的干扰，使得抓取检测为面向对象的抓取检测而不是面向场景的抓取检测。同时通过此种方法提高了模型对不同环境的鲁棒性，减小了模型在抓取检测时对环境特征的依赖，提高了模型对不同背景下物体的检测能力。

技术领域

本发明涉及深度学习、图像识别以及机器人控制领域，是一种基于深度学习的机器人抓取检测方法。

背景技术

随着机器人技术的迅速发展，机器人产品已经广泛应用于我们的生产生活中。对机器人来说能够稳定的抓取特定物体是一项重要的功能。因此，对于目标物体的抓取位置检测是一个重要的研究方向。当前机器人抓取位置检测大都采用基于深度学习的图像处理技术，该技术通过对输入图像进行特征提取，然后对提取到的特征做分类和回归得到最终的抓取位置。抓取位置为矩形框以五维数组的形式表示{x,y,θ,w,h}，如图2所示。其中(x,y)为矩形框的中心点坐标，θ为矩形框长边于水平方向的夹角，(w,h)分别表示矩形框的长和宽。该抓取位置的表示方式是为平行夹板抓取器设计。

当前机器人抓取检测是对采集到的整幅图像做抓取检测，检测范围大，检测效率低。并且，杂乱的背景信息会影响抓取检测的精度。

因此，如何提供一种高效的面向对象的抓取检测方案，是当前亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于图像分割的机器人抓取检测方法，该方法利用图像分割的原理将场景中的目标物体与背景进行分割，分割完成后删除背景区域的像素信息，只保留目标区域的像素信息做抓取检测。通过这种方法减小了背景信息对抓取检测的干扰，同时降低了抓取检测范围，减小了计算量，实现了面向对象的抓取检测。

在多目标物体场景中，本发明提供了一种既能实现图像分割又可以对物体进行目标识别的分割网络。利用该网络可以根据抓取需求，删除掉除被抓物体外其他所有的像素信息，实现在多目标场景中抓取指定目标。

一方面，本申请实施例提供的一种基于多目标类别分割的机器人抓取检测方法，包括：

多目标类别分割数据集的标定及预处理；

进一步地，所述步骤多目标类别分割数据集的标定中，多目标类别分割数据集的标定，具体包括标定图像数据中的目标物体的mask轮廓，并且标注其类别。在本发明中采用labelme 图像标注工具标注数据集中目标的mask以及标定其类别；

进一步地，所述步骤多目标类别分割数据集的预处理中，对标定完成的数据集进行预处理操作，具体包括特征工程以及数据增强两部分。特征工程是根据labelme工具生成的标签文件对类别信息进行编码及向量化操作，提高模型训练过程的计算效率。数据增强是将做完特征工程的数据按照一定变换规则做扩展，增加训练数据的数量，从而减少模型训练过程中的过拟合现象。常用的数据增强手段有旋转、裁剪、调整亮度、加入高斯噪声等；

搭建类别多目标分割网络；

进一步地，所述步骤搭建类别多目标分割网络中，搭建类别多目标分割网络，网络由编码器、解码器以及跳层连接部分组成如图4所示。其中编码器对输入的图片进行特征提取以及下采样操作，在本发明中采用预训练的ResNet50网络作为编码器的主干网络；解码器对下采样得到的特征图做上采样，同时配合跳层连接融合下采样各层生成的特征。通过这种方式最大程度上保留不同维度的特征为后续像素级分类做准备；

在多目标分割网络像素分类阶段，本模型采用卷积层进行分类操作，不同于传统的采用全连接进行分类的方法。输入图像产生的特征在经过上采样及特征融合后，经过带有n个卷积核的卷积层同时完成图像的分类及分割操作，其中n为类别数量。

使用预处理的数据对类别多目标分割网络进行训练；