[发明专利]对象抓取方法及装置

权利要求书

1.一种对象抓取方法，包括：

沿预设深度方向获取与三维物品区域相对应的二维彩色图以及对应于所述二维彩色图的深度图；

将所述二维彩色图以及所述深度图输入深度学习模型，根据输出结果预测所述二维彩色图中包含的多个可抓取对象；

根据与所述三维物品区域相对应的点云信息，计算各个可抓取对象的三维位姿信息；

根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序。

2.根据权利要求1所述的方法，其中，所述方法执行之前，进一步包括：

采集与三维样本区域相对应的样本图像，确定所述样本图像中包含的多个物品对象；

根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注，根据标注后的样本图像训练所述深度学习模型。

3.根据权利要求2所述的方法，其中，所述根据所述多个物品对象之间的位置关系，对所述样本图像中包含的可抓取区域以及不可抓取区域分别进行标注包括：

确定各个物品对象沿所述预设深度方向的堆叠次序，将位于顶层的物品对象所对应的区域标注为可抓取区域，将位于底层的物品对象所对应的区域标注为不可抓取区域；和/或，

根据各个物品对象的暴露比例，将暴露比例大于预设阈值的物品对象所对应的区域标注为可抓取区域，将暴露比例不大于预设阈值的物品对象所对应的区域标注为不可抓取区域；和/或，

根据各个物品对象的形状和/或类型确定各个物品对象中包含的接触区域，将接触区域未受到遮挡的物品对象所对应的区域标注为可抓取区域，将接触区域受到遮挡的物品对象所对应的区域标注为不可抓取区域。

4.根据权利要求2或3所述的方法，其中，所述根据标注后的样本图像训练所述深度学习模型包括：

将标注后的样本图像作为原始训练集，通过随机调节图片亮度和/或对比度、图片仿射变换方式和/或图片白平衡变换方式，对所述原始训练集进行扩充处理，通过扩充后得到的扩充训练集训练所述深度学习模型。

5.根据权利要求1-4任一所述的方法，其中，所述点云信息根据所述二维彩色图以及对应于所述二维彩色图的深度图构建得到，则所述计算各个可抓取对象的三维位姿信息包括：

建立与所述三维物品区域相对应的三维坐标系；其中，所述三维坐标系中包含的第一坐标轴以及第二坐标轴的方向与所述二维彩色图相匹配，所述三维坐标系中的第三坐标轴的方向与所述预设深度方向相匹配；

计算各个可抓取对象对应于所述第三坐标轴的深度坐标值，根据所述深度坐标值计算各个可抓取对象的三维位姿信息。

6.根据权利要求5所述的方法，其中，预设深度方向包括以下中的至少一个：相机拍照方向、重力方向以及物品承载面的垂直线所在的方向，其中，所述物品承载面为用于放置三维物品的载体所在的平面，所述载体包括：地面、托盘、传送带和/或物料筐；

则所述根据所述三维位姿信息将各个可抓取对象沿所述预设深度方向进行排序，根据排序结果确定各个可抓取对象的抓取顺序包括：

将各个可抓取对象按照与摄像头或物品承载面之间的距离远近进行排序，并根据排序结果确定各个可抓取对象的抓取顺序；其中，距离摄像头越近的可抓取对象的抓取顺序越靠前；距离摄像头越远的可抓取对象的抓取顺序越靠后；或者，距离物品承载面越近的可抓取对象的抓取顺序越靠后；距离物品承载面越远的可抓取对象的抓取顺序越靠前。

7.根据权利要求1-6任一所述的方法，其中，所述根据排序结果确定各个可抓取对象的抓取顺序之后，进一步包括：

获取相机坐标系与机器人坐标系之间的转换关系；

根据所述转换关系，将对应于相机坐标系的各个可抓取对象的三维位姿信息转换到机器人坐标系中，向机器人输出转换后的各个可抓取对象的三维位姿信息，以供机器人执行抓取操作。