[发明专利]果梗定位及水果采摘方法、装置、机器人及介质

说明书

本申请实施例涉及机器人技术领域，公开了一种果梗定位及水果采摘方法、装置、机器人及介质。该果梗定位方法包括：获取当前图像帧；检测当前图像帧中的每一果串的位置；将每一果串的位置输入到预先训练的果梗回归网络，确定每一果梗在当前图像帧上的像素坐标；计算每一果梗的深度信息；根据每一果梗的深度信息以及像素坐标，确定每一果梗的相机坐标；根据每一果梗的相机坐标，确定每一果梗的机器人坐标。通过将每一果串的位置输入到预先训练的果梗回归网络，确定每一果梗在当前图像帧上的像素坐标，结合每一果梗的深度信息，确定每一果梗的相机坐标，进而确定每一果梗的机器人坐标，本申请能够提高果梗定位的准确率。

技术领域

本申请涉及机器人技术领域，特别是涉及一种基于深度学习的果梗定位及水果采摘方法、装置、机器人及介质。

背景技术

目前，随着水果采摘需求量日益增多，水果采摘机器人的需求也日益增多，但是，由于一些水果的皮薄肉嫩，例如：葡萄、黄瓜等水果，在采摘机器人的采摘作业中，不合理的采摘点容易造成水果的脱落与损坏。

目前，基于视觉的机器人采摘水果的流程大体可分为两部分：

（1）、图像中的采摘点定位；

（2）、3d坐标转换，并将3d坐标传给机器人，机器人走到对应位置做相应的采摘动作。现有的方法主要是通过定位水果采摘点在图像中的位置，主要是先通过目标检测算法或者图像分割算法定位出果串的位置，然后根据果串与果梗的关系利用传统图像处理的方法定位果梗，也就是采摘点的位置。果串的定位目前普遍采用深度学习的方式，识别率较高，因此最主要的难点在于果梗的定位。

采用目标检测算法或图像分割的方式定位果串，然后根据水果的结构特征使用传统图像算法定位水果梗的方式缺点如下：利用水果的结构特征为依据来实现果梗的定位本身不具备普遍性；传统图像处理容易受到环境的影响，如有的时候环境变化了，需要调节算法参数才能达到准确定位果梗的目的。

申请人在实现本申请的过程中，发现现有的图像算法定位方案至少存在以下问题：果梗定位方法的普遍性不高，并且准确率不高。

发明内容

本申请实施例旨在提供一种基于深度学习的果梗定位及水果采摘方法、装置、机器人及介质，其解决了现有的果梗定位方法的普遍性不高，并且准确率不高的问题，提高果梗定位的准确率。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种基于深度学习的果梗定位方法，应用于机器人，所述方法包括：

获取当前图像帧；

检测所述当前图像帧中的每一果串的位置；

将每一所述果串的位置输入到预先训练的果梗回归网络，确定每一所述果梗在所述当前图像帧上的像素坐标；

计算每一所述果梗的深度信息；

根据每一所述果梗的深度信息以及像素坐标，确定每一所述果梗的相机坐标；

根据每一所述果梗的相机坐标，确定每一所述果梗的机器人坐标。

在一些实施例中，所述机器人包括机器人末端工具和深度相机，在获取当前图像帧之前，所述方法还包括：

标定所述机器人末端工具；

标定所述机器人末端工具和所述深度相机的相对位置，确定标定矩阵。

在一些实施例中，所述检测所述当前图像帧中的每一果串的位置，包括：

基于预先训练的目标检测算法，检测所述当前图像帧中的每一果串的位置，并确定每一果串的目标框，其中，所述目标检测算法为YOLOv5目标检测算法。