[发明专利]检测物体的拾取点的方法及装置、设备、介质和机器人

权利要求书

1.一种检测物体的拾取点的方法，其特征在于，包括：

获取训练图像、所述训练图像对应的第二深度图、所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图，其中，所述真实位置图用于表示所述训练图像中的像素所在位置作为拾取点的置信度的真实值，所述真实法向量图用于表示所述训练图像中的像素的切平面的法向量的真实值；

将所述训练图像和所述第二深度图输入神经网络，经由所述神经网络输出所述训练图像对应的拾取点的第二位置预测图和所述训练图像对应的第二法向量预测图，其中，所述第二位置预测图用于表示所述训练图像中的像素所在位置作为拾取点的置信度的预测值，所述第二法向量预测图用于表示所述训练图像中的像素的切平面的法向量的预测值；

根据所述真实位置图与所述第二位置预测图之间的差异，以及所述真实法向量图与所述第二法向量预测图之间的差异，训练所述神经网络；

获取待检测图像和所述待检测图像对应的第一深度图；

将所述待检测图像和所述第一深度图输入所述神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述第一位置预测图用于表示所述待检测图像中的像素所在位置作为拾取点的置信度的预测值，所述第一法向量预测图用于表示所述待检测图像中的像素的切平面的法向量的预测值；

根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量，包括：

将所述第一位置预测图中置信度最大的像素的坐标，确定为所述待检测图像中的物体的待拾取点的坐标；

根据所述第一深度图，确定所述待拾取点对应的深度值；

根据所述第一法向量预测图，确定所述待拾取点对应的法向量。

3.根据权利要求1或2所述的方法，其特征在于，在所述确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量之后，所述方法还包括：

将所述待拾取点的坐标、所述深度值以及所述待拾取点对应的法向量，确定为拾取部件的位姿信息。

4.根据权利要求1或2所述的方法，其特征在于，所述训练图像为二维图像。

5.根据权利要求1或2所述的方法，其特征在于，所述获取训练图像、所述训练图像对应的第二深度图、所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图，包括：

根据仿真场景的图像，得到训练图像，其中，所述仿真场景中包括物体模型和背景模型；

获取所述仿真场景的深度图作为所述训练图像对应的第二深度图；

根据所述物体模型的参数，得到所述训练图像对应的拾取点的真实位置图和所述训练图像对应的真实法向量图。

6.根据权利要求5所述的方法，其特征在于，所述根据仿真场景的图像，得到训练图像，包括：

生成仿真场景；

控制所述仿真场景中的至少一个物体模型从所述仿真场景中的工作台模型的上方随机掉落在所述工作台模型上，直至所述至少一个物体模型稳定；和/或，对所述仿真场景中的所述物体模型和/或所述背景模型进行随机调整，得到多个训练图像。

7.根据权利要求1或2所述的方法，其特征在于，所述将所述待检测图像和所述第一深度图输入所述神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，包括：

将所述待检测图像和所述第一深度图输入所述神经网络，经由所述神经网络对所述待检测图像和所述第一深度图分别进行特征提取，并对提取的特征进行特征融合，根据特征融合结果得到所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图。