[发明专利]基于深度学习模型的抓取方法及装置

说明书

本申请公开了一种基于深度学习模型的抓取方法及装置，用于夹持器抓取目标物体，包括：建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；通过所述2D深度学习模型确定待抓取的目标物体；根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。通过结合目标物体属性和深度学习模型实现夹持器的精准抓取，从而提升抓取成功率。

技术领域

本申请涉及夹持器抓取技术领域，尤其涉及一种基于深度学习模型的抓取方法及装置。

背景技术

目前夹持器抓取领域的抓取方法有很多种。在物体识别方面，有传统图像处理的方法，也有采用深度学习方法进行物体识别的。如果采用传统视觉识别的方式，抓取方案实施时需要手工设计大量的算子，效率太低，且识别的准确性不够高。如果抓取方案采用普通深度学习的方法，方案中训练的模型能够快速地识别目标物体，直接生成抓取点。但是，这种方案一般不会提供其他信息(比如物体硬度、尺寸等)帮助抓取任务的执行，也会影响抓取效率。因此需要提供一种可以提高抓取成功率的技术方案。

发明内容

本申请实施例提供一种提升夹持器抓取成功率的技术方案。

本申请提供的一种基于深度学习模型的抓取方法，用于夹持器抓取目标物体，包括：

建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；

根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；

通过所述2D深度学习模型确定待抓取的目标物体；

根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；

根据所述属性集合数据、所述抓取点位姿数据、所述开合尺寸数据和所述压力阈值，抓取所述目标物体放置在指定位置。

进一步的，在本申请提供的一种优选实施方式中，建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集，具体包括：

根据所有需要抓取的目标物体，建立目标物体集合的属性集合数据；

采集所有需要抓取的目标物体的RGB图片和深度图片；

对所述RGB图片中的物体进行类别标注，生成2D数据集；

根据所述属性集合数据、所述深度图片和所述2D数据集，生成不规则物体点云数据集；

其中，所述属性集合表包括刚度数据、尺寸数据和形状数据。

进一步的，在本申请提供的一种优选实施方式中，根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型，具体包括：

采用2D深度神经网络对所述2D数据集进行训练，得到2D深度学习模型；

采用3D深度神经网络对所述不规则物体点云数据集进行训练，得到点云深度学习模型；

其中，所述2D深度神经网络包括Mask R-CNN或者YOLOv3中的任意一种；

所述3D深度神经网络包括PointNet++。

进一步的，在本申请提供的一种优选实施方式中，通过所述2D深度学习模型确定待抓取的目标物体，具体包括：

利用深度相机拍摄观察区内的所有物体的图像，得到待识别图像；