[发明专利]一种基于深度学习的机器人多物体分拣方法

说明书

本发明公开了一种基于深度学习的机器人多物体分拣方法，所述分拣方法具体步骤如下：首先利用旋转目标检测网络检测任务场景中目标物体的类别、位置及旋转角度；之后通过实例分割网络分割出物体表面像素，利用相机标定、主成分分析法和欧拉角法对分割出的像素进行处理，获得目标物体的姿态；然后通过基于先验知识的物体分拣次序推理算法获得物体的分拣次序；最后机器人根据获得的物体分拣次序和位姿，自主完成多物体分拣任务。本发明基于深度学习的方法实现了场景中物体位姿和分拣次序的获取，使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准确的分拣操作。

技术领域

本发明公开了一种基于深度学习的机器人多物体分拣方法，属于机器人分拣的技术领域。

背景技术

流水线是工业制造的重要组成，大部分工厂在流水线上的分拣工作依然由人工完成。但是，随着人工成本的持续增加，机器人效率高、稳定性高和适应各种环境的优点逐渐显现。因此，许多工厂开始通过“机器换人”的方式进行分拣工作。目前常用示教器示教或离线编程的方式指导机器人重复完成规定的动作，从而对结构化场景中的物体完成抓取或分拣任务。但是，当目标物体的类别、位置和形状发生变化时，机器人需要重新进行示教或编程来完成预定的目标，这极大的降低了生产效率。在这种情况下，研究人员通过将机器人与视觉传感器相结合的方式使机器人的感知能力与环境理解能力增加，从而能够适应更加复杂的分拣任务。相较于传统的分拣系统，融合了视觉的机器人分拣系统，不仅能够识别物体的类别，还能够精确定位物体，具有更加广泛的应用前景。

随着机器人技术的不断发展，机器人分拣系统被应用到更多的场景中，例如垃圾分拣、物流仓储和深海勘探等。机器人分拣系统在面对这些非结构化场景时，不仅要实现对目标物体的识别与定位，还要理解物体的空间关系。现有的分拣系统一般通过目标检测技术或点云匹配的方式对环境中的目标物体进行识别与定位。这在面对存在堆叠、遮挡情况的多种物体分拣的情景时，不能完成预定的目标，甚至由于对物体的上下文关系理解不足，导致抓取过程中损坏了目标物体。因此，发明一种可以对非结构化场景中随意摆放的多物体进行分拣的方法具有很重要的意义。

发明内容

本发明的目的在于提供一种基于深度学习的多物体分拣方法，使机器人能够自主的对堆叠的多物体实现准确、安全和高效的分拣。本发明通过构建的旋转目标检测网络模型对复杂分拣场景中的目标物体进行了类别、位置和旋转角度的识别。利用实例分割模型从场景中获取了物体的像素信息，并进一步转换为了点云。然后采用主成分分析法对物体进行了主法向的估计，并结合旋转角度解算出了各个物体的位姿。最后以物体表面点云变化情况作为先验知识对场景中物体的分拣顺序进行了推理，使得机器人能够自主、稳定和安全地对场景中的多个未知物体进行分拣。

本发明所要解决的问题是由以下技术方案实现的：

一种基于深度学习的机器人多物体分拣方法，所述分拣方法具体步骤如下：

步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度等信息；

步骤S20，通过实例分割网络分割出目标物体表面像素；

步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面进行法向量估计；

步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；

步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；

步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器人自主完成多物体的分拣任务。

优选的是，所述步骤S10的具体过程如下：

步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿态和堆叠情况下的图像；