[发明专利]用于物体的目标抓取姿态的预测方法、装置、设备和介质

说明书

本申请涉及一种用于物体的目标抓取姿态的预测方法、装置、设备和介质。包括：获取物体的三维点云的数据；利用预先训练的姿态预测网络，对初始点进行逐点可抓取性分析得到逐点可抓取性指标，根据多个初始点的逐点可抓取性指标确定第一预设数量的候选点；利用姿态预测网络，对第一预设数量的候选点进行逐视角可抓取性分析得到逐视角可抓取性指标，根据逐视角可抓取性指标确定各候选点对应的抓取方向；利用预先训练的姿态预测网络，基于各候选点对应的抓取方向及各候选点及候选点周围预设范围内的若干三维点云上的点的几何特征确定各候选点对应的抓取姿态，根据各候选点对应的抓取姿态确定用于物体的目标抓取姿态。采用本方法节省计算资源开销。

技术领域

本申请涉及机器人技术领域，特别是涉及一种用于物体的目标抓取姿态的预测方法、装置、设备和介质。

背景技术

随着机器人技术的发展，出现了物体抓取技术，物体抓取在物体分拣、产品装配和加用服务等方面均有广泛应用。物体抓取可分解为场景信息获取、抓取姿态检测、运动规划和动作执行等环节，其中最重要的环节是抓取姿态检测，即从输入的包含物体的场景图像或点云中找出最适合抓取该物体的位置并预测机械夹爪的参数。

传统方法分为基于二维图像的平面抓取姿态检测和基于三维图像的六自由度抓取姿态检测。平面抓取姿态检测以RGB图像或深度图像为输入，利用卷积神经网络，在相机平面内预测长方形约束框用以代表抓取姿态。六自由度抓取姿态检测主要基于先采样后分类或者直接由输入的三维图像预测抓取姿态。

然而，基于二维图像得到的抓取姿态自由度较低，抓取效果受相机视角影响较大，因而应用范围有限。基于三维图像得到的抓取姿态可能质量较为随机，又或者需要消耗大量计算资源。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高姿态预测质量的用于物体的目标抓取姿态的预测方法、装置、设备和介质。

一种用于物体的目标抓取姿态的预测方法，所述方法包括：

获取物体的三维点云的数据，所述三维点云包括多个初始点；

利用预先训练的姿态预测网络，对多个所述初始点进行逐点可抓取性分析，获得多个所述初始点的逐点可抓取性指标，并根据多个所述初始点的逐点可抓取性指标确定第一预设数量的候选点；

利用所述预先训练的姿态预测网络，对所述第一预设数量的候选点进行逐视角可抓取性分析，获得所述第一预设数量的候选点的逐视角可抓取性指标，并根据所述逐视角可抓取性指标确定各所述候选点对应的抓取方向；以及

利用所述预先训练的姿态预测网络，基于各所述候选点对应的所述抓取方向以及各所述候选点及所述候选点周围预设范围内的若干所述三维点云上的点的几何特征确定各所述候选点对应的抓取姿态，并根据各所述候选点对应的抓取姿态确定用于所述物体的目标抓取姿态。

在其中一个实施例中，所述利用预先训练的姿态预测网络，对多个所述初始点进行逐点可抓取性分析，获得多个所述初始点的逐点可抓取性指标，包括：

利用预先训练的姿态预测网络，对多个所述初始点进行特征抽取以得到每个所述初始点的形态信息，其中所述形态信息用于表征每个所述初始点的几何特征；以及

根据每个所述初始点的所述形态信息利用预先训练的姿态预测网络，进行逐点可抓取性分析，以得到每个所述初始点的逐点可抓取性指标。

在其中一个实施例中，所述根据多个所述初始点的逐点可抓取性指标确定第一预设数量的候选点，包括：

对所述初始点的逐点可抓取性指标大于阈值的点按照预设规则进行采样，从所述初始点中选取得到第一预设数量的候选点。

在其中一个实施例中，所述方法还包括：