[发明专利]检测物体的拾取点的方法及装置、设备、介质和机器人

说明书

本公开涉及一种检测物体的拾取点的方法及装置、设备、介质和机器人。所述方法包括：获取待检测图像和所述待检测图像对应的第一深度图；将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述神经网络预先结合训练图像和所述训练图像对应的第二深度图进行训练；根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。

技术领域

本公开涉及计算机技术领域，尤其涉及检测物体的拾取点的方法及装置、设备、介质和机器人。

背景技术

随着计算机软硬件技术的发展，人工智能技术日益成熟。作为人工智能走向落地的重要应用，机器人受到了广泛的关注。机器人可被应用于国防军事、工业生产、物流等领域。在物流分拣和工业生产等过程中，多种类的多个物体或紧密、或松散地放置在容器(例如中转箱)或台面上时，如何准确地检测每个物体的拾取点，是亟待解决的问题。

发明内容

本公开提供了一种检测物体的拾取点的技术方案。

根据本公开的一方面，提供了一种检测物体的拾取点的方法，包括：获取待检测图像和所述待检测图像对应的第一深度图；将所述待检测图像和所述第一深度图输入神经网络，经由所述神经网络输出所述待检测图像对应的拾取点的第一位置预测图和所述待检测图像对应的第一法向量预测图，其中，所述神经网络预先结合训练图像和所述训练图像对应的第二深度图进行训练，所述第一位置预测图用于表示所述待检测图像中的像素所在位置作为拾取点的置信度的预测值，所述第一法向量预测图用于表示所述待检测图像中的像素的切平面的法向量的预测值；根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量。

在本公开实施例中，通过结合待检测图像与深度图中的信息，能够克服深度图中常常存在大量噪声的问题，从而能够预测得到更准确的待拾取点的位置以及待拾取点对应的法向量。由此机器人或者机械臂等设备根据所述待检测图像中的物体的待拾取点的位置及待拾取点对应的法向量拾取物体，能够提高拾取物体的成功率。

在一种可能的实现方式中，所述根据所述第一位置预测图、所述第一深度图和所述第一法向量预测图，确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量，包括：将所述第一位置预测图中置信度最大的像素的坐标，确定为所述待检测图像中的物体的待拾取点的坐标；根据所述第一深度图，确定所述待拾取点对应的深度值；根据所述第一法向量预测图，确定所述待拾取点对应的法向量。

在该实现方式中，第一位置预测图中像素的置信度越大，则表明以该像素拾取物体的成功率越高。通过采用该实现方式，能够提高拾取物体的成功率。

在一种可能的实现方式中，在所述确定所述待检测图像中的物体的待拾取点的位置信息以及所述待拾取点对应的法向量之后，所述方法还包括：将所述待拾取点的坐标、所述深度值以及所述待拾取点对应的法向量，确定为拾取部件的位姿信息。

根据该实现方式确定的拾取部件的位姿信息，机器人或者机械臂等设备能够实现六自由度的拾取。