[发明专利]一种基于RGB区分度的茶叶采摘方法和系统

说明书

本发明请求保护一种基于RGB区分度的茶叶采摘方法和系统，通过在茶叶采摘设备运行过程中，采摘茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取叶片等级图像并计算预先选定的画幅中心和边缘区域内的实时平均深度信息作为确定切割刀具位姿信息的依据，之后确定切割刀具的实时位姿结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；最终茶叶采摘设备的执行机构通过往复式刀片切割茶叶并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。该方案通过准确的图像识别和叶片长度粗细结合识别出不同等级的茶叶内容，达到自适应茶叶等级准确收集茶叶的效果。

技术领域

本发明涉及目标识别技术及智慧农业技术领域，具体为一种基于RGB区分度的茶叶采摘方法和系统。

背景技术

随着智慧农业与深度学习的快速发展，茶叶检测识别及其机器人采摘已经成为研究热点。茶叶的精准检测识别对机器人采摘与茶园自动化管理有着重要推进意义。

茶叶采摘是茶叶生产的先决条件。传统采茶方法由于缺乏自适应引导，往往造成新叶和老叶被一刀切，茶叶质量得不到保证。机器视觉技术作为一种无损、实时、经济的检测方法，近年来已广泛应用于各个领域的目标识别与定位，该技术的兴起为茶叶选择性采摘提供了新的解决方法。本项目的核心技术之一是检测到茶蓬中新叶。然而，四川省的大宗茶采收时间主要集中在夏季与秋季，在这段时期里光照最强烈，对于仅依靠RGB相机采摘茶叶信息的方式有较大的影响。为了避免上述问题，本项目采用了Intel RealSense D435iRGB-D深度相机用于捕捉现场环境。它对于不同的室外光照条件都具有鲁棒性，其信噪比非常适合现场情况下的实地采摘工作。

由于商业茶园中茶叶种植密集，非目标采摘行茶叶会严重干扰目标采摘行内茶叶的检测，非目标采摘行茶叶是采摘机器人不可采摘目标。以往研究中从图像中检测茶叶目标，将会识别图像中所有茶叶，不区分该茶叶是否为目标行可采摘目标。但是采摘机器人将非目标采摘行的茶叶识别为采摘目标，会导致采摘机器人无法执行采摘操作发生程序故障，或采摘机器人末端执行机构与目标采摘行茶叶树发生碰撞事故。

发明内容

本发明提供了一种密植茶园目标采摘行中的茶叶智能检测识别方法，解决了现有茶叶检测识别方法错误检测非目标采摘行茶叶的问题，进而有效解决茶叶采摘机器人错误执行采摘非目标行茶叶，导致无法完成采摘故障问题，以及末端执行机构与目标采摘行茶叶树发生碰撞问题。

根据本发明第一方面，本发明请求保护一种基于RGB区分度的茶叶采摘方法，其特征在于，包括步骤：

茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像；

目标识别，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据；

仿形操作，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；

茶叶采摘，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。

具体的，茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像，具体包括：

基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；

其中，通过安装在采茶机切割刀具上的深度相机能实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；