[发明专利]机械臂视觉引导方法及装置

说明书

本发明实施例提供一种农业机器人的机械臂视觉引导方法及装置。所述方法包括：获取作业对象与障碍物的RGB信息以及3D点云信息；根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；根据所述机械臂的运动路径引导所述机械臂作业。所述方法及装置避免了机械臂与障碍物的碰撞，提高了农业机器人的作业效率。

技术领域

本发明涉及农业技术领域，具体涉及一种农业机器人的机械臂视觉引导方法及装置。

背景技术

农业机器人可以在复杂环境下完成农作物的施肥、授粉、喷药以及采摘等功能。农业机器人的使用可以改善农业作业条件，提高劳动生产率和作业质量，降低人类的劳动强度。

但是目前农业机器人在作业过程中常用的“手眼协调”方法具有明显不足：

现有的机械臂视觉引导系统和方法大都是针对工业环境，而农业作业环境复杂，现有的视觉引导系统和方法无法直接应用到农业生产环境中。

现有的视觉引导系统首先提取作业对象的纹理、颜色或者形状，然后对作业对象进行识别。然而，由于农业环境中的作物叶片存在互相遮挡的现象，容易导致现有的视觉系统识别不到作业对象的问题，无法精准引导机械臂作业。

进一步地，现有的视觉引导系统只能完成作业对象的识别与定位，不能快速实时完成作业对象与障碍物的区分，不能精确规划出机械臂安全移动的空间，使得机械臂在移动过程中碰到障碍物。或者障碍物遮挡3D相机，从而影响识别与定位。

另外，现有的机械臂视觉引导方法首先由远景视觉系统对作业对象完成识别和定位，然后引导机械臂和执行末端完成相应动作。但远景视觉系统通常在距离作业对象较远的位置进行探测，这会造成视野范围内目标过多、处理过程较为复杂且耗时较长、识别率降低、定位精度不高。

进一步地，现有的机械臂视觉引导系统通常通过远景相机判定视野范围内是否存在作业对象，然后引导机械臂靠近作业对象，再由近景相机完成作业对象的实时识别与定位，从而引导机械臂和执行末端完成相应动作。这样会存在远景、近景相机的坐标匹配问题，并需要由远景相机、机械臂和近景相机连贯无误配合实现作业。现有的机械臂视觉引导系统过程繁琐、延时较大且作业效率低。

因此，如何提供一种农业机器人的机械臂视觉引导系统和方法，已解决上述技术问题中的至少一种，具有十分重要的意义。

发明内容

针对现有技术中的缺陷，一方面，本发明实施例提供一种农业机器人的机械臂视觉引导方法，包括：

获取作业对象与障碍物的RGB信息以及3D点云信息；

根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；

根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；

根据所述机械臂的运动路径引导所述机械臂作业。

在一个实施例中，所述根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别包括：

依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；

使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。

在一个实施例中，所述根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标包括：