[发明专利]抓取位置检测模型训练方法、抓取位置检测方法及装置

说明书

本公开提供了一种抓取位置检测模型训练、抓取位置检测方法及装置，其中，模型训练方法包括：获取多张样本图像，以及与各张样本图像对应的抓取位置投票标签图；利用神经网络，对多张样本图像进行特征提取，得到多张样本图像中的每张样本图像对应的特征数据，并基于特征数据，获取抓取位置投票预测图；基于抓取位置投票预测图以及抓取位置投票标签图训练神经网络，得到抓取位置检测模型。通过该方法训练得到的抓取位置检测模型能够在像素级别上，对图像中物体的抓取位置进行检测，从而可以更准确的检测到物体的抓取位置。进而在控制机器人抓取物体时，准确度也更高。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种抓取位置检测模型训练方法、抓取位置检测方法、物品抓取方法及装置。

背景技术

随着计算机软硬件的快速发展，人工智能技术日益成熟，作为人工智能走向落地的重要应用，机器人受到了广泛的关注。例如在物流领域，机器人被大量应用于自动分拣、搬运、码垛等，并逐渐替代人力成为物流链的重要组成。

人工智能在应用于物流领域中时，在很多项工作中都需要机器人能够根据场景中的点云数据，确定物品在场景中的位置，然后控制机器人上的抓取部件按照位置进行物品抓取。但在多种库存单位(Stock Keeping Unit，SKU)的物品相互堆叠场景下，当前的目标检测方法存在检测精度低的问题。

发明内容

本公开实施例至少提供一种抓取位置检测模型训练方法、抓取位置检测方法、物品抓取方法及装置。

第一方面，本公开实施例提供了一种抓取位置检测模型训练方法，包括：获取多张样本图像，以及与各张所述样本图像对应的抓取位置投票标签图；其中，每张所述样本图像中均包括至少一种类别下随机堆叠的多个物体；所述抓取位置投票标签图中包括对应样本图像中的各个像素点对位于样本图像中的任一物体的抓取位置进行投票的真实投票信息；利用神经网络，对所述多张样本图像进行特征提取，得到所述多张样本图像中的每张样本图像对应的特征数据，并基于所述特征数据，获取抓取位置投票预测图；基于所述抓取位置投票预测图以及所述抓取位置投票标签图训练所述神经网络，得到所述抓取位置检测模型。

这样，在确定待检测场景中的各个物品的物品抓取点时，采用了将待检测图像输入至抓取位置检测模型中，该抓取位置检测模型在训练时，抓取位置投票标签图中包括对应样本图像中的各个像素点对位于样本图像中的任一物体的抓取位置进行投票的真实投票信息，进而训练得到的抓取位置检测模型能够在像素级别上，对图像中物体的抓取位置进行检测，从而可以更准确的检测到物体的抓取位置。进而在控制机器人抓取物体时，准确度也更高。

一种可选的实施方式中，在所述样本图像中，针对像素点为任一物体的中心像素点的情况，该像素点对应的真实投票信息包括：该像素点属于所述任一物体的中心像素点的分类信息；针对像素点为任一物体上非中心素点的情况，该像素点对应的真实投票信息包括：该像素点与所述任一物体上中心像素点之间的距离信息，以及该像素点属于所述任一物体的非中心像素点的分类信息；针对任一像素点为不属于任何物体上像素点的情况，该任一像素点对应的真实投票信息包括：该像素点不属于任何物体的分类信息。

这样，通过上述真实投票信息，在像素级别表征物品中心点在样本图像中的位置，进而训练得到的抓取位置检测模型能够在像素级别上对物品的抓取点进行识，具有更高的识别精度。

一种可选的实施方式中，获取与各张所述样本图像对应的抓取位置投票标签图，包括：获取样本图像中各个像素点的真实投票信息；基于样本图像中的各个像素点的真实投票信息，生成所述样本图像中的各个像素点在所述抓取位置投票标签图中对应位置的像素点的像素值；基于所述样本图像中的各个像素点在所述抓取位置投票标签图中对应位置的像素点的像素值，构成所述抓取位置投票标签图。

这样，能够在像素级别上生成抓取位置投票标签图。