[发明专利]果梗定位及水果采摘方法、装置、机器人及介质

权利要求书

1.一种基于深度学习的果梗定位方法，其特征在于，应用于机器人，所述方法包括：

获取当前图像帧；

检测所述当前图像帧中的每一果串的位置；

将每一所述果串的位置输入到预先训练的果梗回归网络，确定每一所述果串对应的果梗在所述当前图像帧上的像素坐标；

从每一果串的目标框中获取深度信息估算区域；

计算深度信息估算区域的深度值的平均值；

根据深度信息估算区域的深度值的平均值，结合偏移值，确定每一所述果梗的深度信息；

根据每一所述果梗的深度信息以及像素坐标，确定每一所述果梗的相机坐标；

根据每一所述果梗的相机坐标，确定每一所述果梗的机器人坐标。

2.根据权利要求1所述的基于深度学习的果梗定位方法，其特征在于，所述机器人包括机器人末端工具和深度相机，在获取当前图像帧之前，所述方法还包括：

标定所述机器人末端工具；

标定所述机器人末端工具和所述深度相机的相对位置，确定标定矩阵。

3.根据权利要求2所述的基于深度学习的果梗定位方法，其特征在于，所述检测所述当前图像帧中的每一果串的位置，包括：

基于预先训练的目标检测算法，检测所述当前图像帧中的每一果串的位置，并确定每一果串的目标框，其中，所述目标检测算法为YOLOv5目标检测算法。

4.根据权利要求3所述的基于深度学习的果梗定位方法，其特征在于，所述将每一所述果串的位置输入到预先训练的果梗回归网络，确定每一所述果串对应的果梗在所述当前图像帧上的像素坐标，包括：

将每一所述果串的目标框输入到预先训练的果梗回归网络，确定每一所述果梗在所述当前图像帧上的像素坐标。

5.根据权利要求1-4任一项所述的基于深度学习的果梗定位方法，其特征在于，所述果梗包括葡萄梗，所述果串包括葡萄串，所述果梗回归网络包括葡萄梗回归网络。

6.一种基于深度学习的水果采摘方法，其特征在于，应用于机器人，所述机器人包括行走机构、机械臂和采摘箱，所述机械臂设置有末端工具，所述末端工具包括电控剪刀，所述方法包括：

控制所述机器人对果园进行自动巡检；

获取当前图像帧，定位当前图像帧中的每一果梗的机器人坐标；

所述定位当前图像帧中的每一果梗的机器人坐标，包括：

检测所述当前图像帧中的每一果串的位置；

将每一所述果串的位置输入到预先训练的果梗回归网络，确定每一所述果串对应的果梗在所述当前图像帧上的像素坐标；

从每一果串的目标框中获取深度信息估算区域；

计算深度信息估算区域的深度值的平均值；

根据深度信息估算区域的深度值的平均值，结合偏移值，确定每一所述果梗的深度信息；

根据每一所述果梗的深度信息以及像素坐标，确定每一所述果梗的相机坐标；

根据每一所述果梗的相机坐标，确定每一所述果梗的机器人坐标；

根据每一所述果梗的机器人坐标，控制所述行走机构进行运动，使得所述机器人运动到采摘位置，控制所述电控剪刀对所述果梗进行剪梗；

控制所述机械臂将剪梗后的果串投放到所述采摘箱。

7.根据权利要求6所述的基于深度学习的水果采摘方法，其特征在于，所述控制所述电控剪刀对所述果梗进行剪梗，包括：

在机器人运动到采摘位置之后，控制所述机械臂移动到所述果梗的机器人坐标所在的位置；

控制所述电控剪刀对所述果梗进行剪梗。

8.根据权利要求6或7所述的基于深度学习的水果采摘方法，其特征在于，所述方法还包括：

根据当前图像帧，确定当前图像帧中的果串的成熟度；

根据所述果串的成熟度，确定是否对所述果梗进行剪梗。