[发明专利]一种基于深度学习算法的茶叶嫩芽采摘点定位方法

说明书

本发明公开了一种基于深度学习算法的茶叶嫩芽采摘点定位方法，包括：首先利用图像采集设备获取若干个茶树嫩芽的茶叶嫩芽图像对，对每对茶叶嫩芽图像对分别按照语义分割、关键点检测两类任务输入数据的格式进行标注，得到茶叶嫩芽语义分割数据库和茶叶嫩芽关键点检测数据库；其次将嫩芽语义分割数据库和关键点检测数据库分别输入基于深度学习的语义分割模型和关键点检测模型进行训练，分别得到语义分割模型和关键点检测模型；最后利用训练后的语义分割模型、关键点检测模型依次对茶树嫩芽图像对进行处理得到嫩芽关键点位置，在结合根据嫩芽生长特点对茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。本发明提高了茶叶嫩芽采摘点定位的精度和效率。

技术领域

本发明涉及人工智能识别、机器视觉及图像处理技术领域，尤其涉及一种基于深度学习算法的茶叶嫩芽采摘点定位方法。

背景技术

茶叶的采摘方式主要为人工采摘和机械采摘。人工采摘具有选择性，茶叶品质高，人可以通过观察叶芽的形状、颜色等特征来判断叶芽是否适合采摘以及其品级高低，并采用折断的方式在指定的位置对茶叶嫩芽进行采摘，这种方式保证了芽形完整度，具有较高的品质，但其成本高，且因产业结构优化调整和劳动力转移，每年采茶季都会出现劳动力缺乏“用工荒”的问题。

近年来，基于视觉的自动采摘机器人被用于名优茶的采摘，其采摘点的自动识别定位成为限制其发展的关键点和重难点。名优茶质量轻，风吹或采摘机移动都会引起茶叶的摆动；茶园环境复杂，茶叶相互遮挡；光照太强或太暗，嫩芽和老叶分辨率低。这些因素使得嫩芽采摘点的识别定位非常困难，严重限制了名优茶的自动化采摘。目前所采用的茶叶嫩芽采摘点的定位方法定位精度低、效率低，为了实现采摘点的快速识别定位，保证名优茶机采效率和高质量要求，需要研发一种的名优茶采摘点位置信息获取方法。

发明内容

本发明的主要目的在于提出一种基于深度学习算法的茶叶嫩芽采摘点定位方法，旨在提高茶叶嫩芽采摘点定位的精度和效率。

为实现上述目的，本发明提供一种基于深度学习算法的茶叶嫩芽采摘点定位方法，所述基于深度学习算法的茶叶嫩芽采摘点定位方法包括如下步骤：

获取若干个茶树嫩芽的茶叶嫩芽图像对，所述茶叶嫩芽图像对包括茶叶嫩芽热力图像和茶叶嫩芽RGB图像；

对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽语义分割数据库和茶叶嫩芽关键点检测数据库；

将所述嫩芽语义分割数据库输入基于深度学习的语义分割模型进行训练，得到训练后的语义分割模型；

将嫩芽关键点检测数据库输入关键点检测模型，得到训练后的关键点检测模型；

利用图像采集设备拍摄待采摘茶叶嫩芽的图像对；

根据训练后的语义分割模型、关键点检测模型和图像对，得到嫩芽关键点位置；

结合根据嫩芽生长特点和嫩芽关键点位置对所述茶树嫩芽进行采摘点定位，得到嫩芽采摘点位置。

可选地，所述对每对所述茶叶嫩芽图像对进行标注，得到茶叶嫩芽语义分割数据库和茶叶嫩芽关键点检测数据库的步骤，包括：

对每对所述茶叶嫩芽图像对进行标注，得到与茶叶嫩芽图像对对应的语义分割标注数据和关键点标注数据；

对所述语义分割标注数据和所述关键点标注数据分别进行增广操作，得到茶叶嫩芽语义分割数据库和茶叶嫩芽关键点检测数据库。

可选地，所述将所述嫩芽语义分割数据库输入基于深度学习的语义分割模型进行训练，得到语义分割模型的步骤，包括：

将所述嫩芽语义分割数据库按照第一预设比例划分为语义分割训练集和语义分割验证集；

将所述语义分割训练集输入基于深度学习的语义分割模型进行训练，得到语义分割模型权重文件；