[发明专利]对象抓取方法及装置

说明书

本发明公开了一种对象抓取方法及装置，方法包括：沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。该方式通过深度学习模型能够实现任意物品的抓取操作，并且，通过将各个可抓取对象沿预设深度方向进行排序，能够确保在多个物品之间存在堆叠情况时先抓取位于上层的物品，从而保障抓取效率，提高抓取质量。

技术领域

本发明涉及机械手控制技术领域，具体涉及一种对象抓取方法及装置。

背景技术

目前，随着机械手等智能机器人的广泛普及，越来越多的物品能够借助智能机器人实现抓取以及运输操作。例如，物流包装能够通过智能机器人进行抓取，从而大幅提升抓取效率。

在现有技术中，为了实现准确抓取，需要预先针对待抓取的物品进行注册，从而确定待抓取的物品的数量、形状以及位置等特征，然后，再根据待抓取的物品的数量、形状以及位置等特征控制机器人执行抓取操作。

然而，发明人在实现本发明的过程中发现，现有的抓取方式只能用于抓取预先注册的物品，而对于未注册的物品而言，由于无法确定未注册物品的形状以及位置等信息，则无法正常抓取。由此可见，现有的抓取方式无法针对任意物品进行灵活抓取，使用场景受限。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的对象抓取方法及装置。

根据本发明的一个方面，提供了一种对象抓取方法，包括：

沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；

将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；

根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；

根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。

可选的，所述方法执行之前，进一步包括：

采集与三维样本区域相对应的样本图像，确定所述样本图像中包含的多个物品对象；

根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注，根据标注后的样本图像训练所述深度学习模型。

可选的，所述根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注包括：

确定各个物品对象沿所述预设深度方向的堆叠次序，将位于顶层的物品对象所对应的区域标注为可抓取区域，将位于底层的物品对象所对应的区域标注为不可抓取区域；和/或，

根据各个物品对象的暴露比例，将暴露比例大于预设阈值的物品对象所对应的区域标注为可抓取区域，将暴露比例不大于预设阈值的物品对象所对应的区域标注为不可抓取区域；和/或，

根据各个物品对象的形状和/或类型确定各个物品对象中包含的接触区域，将接触区域未受到遮挡的物品对象所对应的区域标注为可抓取区域，将接触区域受到遮挡的物品对象所对应的区域标注为不可抓取区域。

可选的，所述根据标注后的样本图像训练所述深度学习模型包括：