[发明专利]基于深度学习模型的抓取方法及装置

权利要求书

1.基于深度学习模型的抓取方法，用于夹持器抓取目标物体，其特征在于，包括：

建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集；

根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型；

通过所述2D深度学习模型确定待抓取的目标物体；

根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值；

根据所述抓取点位姿数据和所述开合尺寸数据，对所述目标物体进行抓取；

根据所述属性集合数据，确定所述目标物体的刚度数据；

当所述刚度数据为刚体时，获取夹持器抓取所述目标物体时的夹持反馈数据；

当所述夹持反馈数据达到预设值时，将抓取的所述目标物体放置在指定位置；

其中，所述夹持反馈数据达到预设值至少包括夹持器抓取所述目标物体时的压力数据达到所述压力阈值、实际夹持开合尺寸数据符合所述开合尺寸数据范围中的一项；

或当所述刚度数据为软体时，获取夹持器抓取所述目标物体时的夹持压力数据；

利用深度相机识别夹持器上的夹持物，得到识别结果；

当所述夹持压力数据达到所述压力阈值，同时所述识别结果符合预设条件时，将抓取的所述目标物体放置在指定位置；

其中，所述预设条件为深度相机识别到夹持器上存在物体。

2.根据权利要求1所述的抓取方法，其特征在于，建立目标物体集合的属性集合数据、2D数据集和不规则物体点云数据集，具体包括：

根据所有需要抓取的目标物体，建立目标物体集合的属性集合数据；

采集所有需要抓取的目标物体的RGB图片和深度图片；

对所述RGB图片中的物体进行类别标注，生成2D数据集；

根据所述属性集合数据、所述深度图片和所述2D数据集，生成不规则物体点云数据集；

其中，所述属性集合数据包括刚度数据、尺寸数据和形状数据。

3.根据权利要求1所述的抓取方法，其特征在于，根据所述2D数据集和所述不规则物体点云数据集，分别训练2D深度学习模型和点云深度学习模型，具体包括：

采用2D深度神经网络对所述2D数据集进行训练，得到2D深度学习模型；

采用3D深度神经网络对所述不规则物体点云数据集进行训练，得到点云深度学习模型；

其中，所述2D深度神经网络包括Mask R-CNN或者YOLOv3中的任意一种；

所述3D深度神经网络包括PointNet++。

4.根据权利要求1所述的抓取方法，其特征在于，通过所述2D深度学习模型确定待抓取的目标物体，具体包括：

利用深度相机拍摄观察区内的所有物体的图像，得到待识别图像；

调用所述2D深度学习模型处理所述待识别图像，生成处理结果；

根据所述处理结果，确定待抓取的目标物体。

5.根据权利要求1所述的抓取方法，其特征在于，根据所述属性集合数据、所述点云深度学习模型，计算所述目标物体的抓取点位姿数据、夹持器的开合尺寸数据和夹持器夹持所述目标物体的压力阈值，具体包括：

根据所述属性集合数据，确定所述目标物体的形状数据和刚度数据；

当所述形状数据为规则时，根据所述物体属性集合数据，获取所述目标物体的尺寸数据；

通过深度相机获取所述目标物体的深度信息数据；

根据所述尺寸数据和所述深度信息数据，计算所述目标物体的抓取点位姿数据和夹持器的开合尺寸数据；

根据所述刚度数据，计算夹持器夹持所述目标物体的压力阈值。