[发明专利]机械臂视觉引导方法及装置

权利要求书

1.一种农业机器人的机械臂视觉引导方法，其特征在于，包括：

获取作业对象与障碍物的RGB信息以及3D点云信息；

根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；

根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；

根据所述机械臂的运动路径引导所述机械臂作业。

2.根据权利要求1所述的农业机器人的机械臂视觉引导方法，其特征在于，所述根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别包括：

依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；

使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。

3.根据权利要求1所述的农业机器人的机械臂视觉引导方法，其特征在于，所述根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标包括：

使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；

使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；

对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。

4.根据权利要求1至3任一项所述的农业机器人的机械臂视觉引导方法，其特征在于，所述根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径包括：

根据植株上的所述作业对象的生长信息，对植株进行子区域划分；

根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。

5.一种农业机器人的机械臂视觉引导装置，其特征在于，包括：

获取模块，用于获取作业对象与障碍物的RGB信息以及3D点云信息；

确定模块，用于根据所述作业对象与所述障碍物的RGB信息，确定所述作业对象与所述障碍物的类别；根据所述作业对象与所述障碍物的3D点云信息，确定所述作业对象与所述障碍物的三维坐标；

路径模块，用于根据所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定机械臂的运动路径；

引导模块，用于根据所述机械臂的运动路径引导所述机械臂作业。

6.根据权利要求5所述的农业机器人的机械臂视觉引导装置，其特征在于，所述确定模块具体用于：

依次对所述作业对象与所述障碍物的RGB信息进行去模糊化处理、滤波处理以及图像增强处理；

使用深度学习网络对处理后的所述作业对象与所述障碍物的RGB信息进行训练，以确定所述作业对象与所述障碍物的类别。

7.根据权利要求5所述的农业机器人的机械臂视觉引导装置，其特征在于，所述确定模块具体用于：

使用体素网格将所述作业对象与所述障碍物的3D点云信息转换为体积表示；

使用深度学习网络对体积表示的所述作业对象与所述障碍物的3D点云信息进行训练；

对训练后的数据进行去模糊化处理以获取所述作业对象与所述障碍物的三维坐标。

8.根据权利要求5至7任一项所述的农业机器人的机械臂视觉引导装置，其特征在于，所述路径模块具体用于：

根据植株上的所述作业对象的生长信息，对植株进行子区域划分；

根据各子区域内的所述作业对象与所述障碍物的类别，以及所述作业对象与所述障碍物的三维坐标，确定所述机械臂在各子区域内的运动路径。