[发明专利]一种基于深度学习与图像处理结合的葡萄果梗识别方法

说明书

本发明公开了一种基于深度学习与图像处理结合的葡萄果梗识别方法，包括以下步骤：步骤一，采集果梗图片数据；步骤二，获取果梗识别模型；步骤三，获取果梗区域坐标；步骤四，图像处理；步骤五，获取果梗坐标；所述步骤一中，使用Intel RealSense系列相机采集带有果梗的葡萄生长图片；所述步骤二中，采用Pytorch神经网络框架进行yolov5模型的训练；所述步骤四中，可以通过grabcut分割算法来提高图像分割的效果；本发明通过葡萄果梗识别模型可以实现对葡萄果梗的自动识别，通过结合图像处理技术，解决自然果园场景下葡萄果梗因光照强度不同、枝叶遮挡等因素导致识别困难的问题，相较于现有的葡萄果梗识别方法，有效地提高了识别的成功率和识别精度。

技术领域

本发明涉及水果采摘技术领域，具体为一种基于深度学习与图像处理结合的葡萄果梗识别方法。

背景技术

葡萄果肉美味可口，营养价值极高，富含人类必须的葡萄糖、矿物质、维生素和氨基酸等，具有极高的医学价值，也可以作为葡萄酒的原料，带来一定的经济效益；随着科学技术的进步和劳动力的减少，越来越多的机器人技术应用到农业领域中，因此出现了机械化采摘的葡萄收获方式；采摘机器人的采摘方式有振摇式、拉拽式和剪切式等，而葡萄果实质地柔软，果梗相对较长，可采用剪切的方式剪切葡萄，因此葡萄采摘机器人需要准确识别出果梗的位置，进而确定采摘点；

传统的葡萄采摘机器人通过葡萄单果的形状或颜色阈值分割出果梗，通过霍夫圆检测或则转换颜色空间后设定一个颜色阈值，把满足形状的组合区域或满足该颜色阈值的区域作为葡萄区域，然后用经验公式确定果梗感兴趣区域，再对果梗进行阈值或直线检测识别，确定采摘点；在实际生活中，采摘机器人通常在自然环境下作业，光照强度的不同和枝叶的遮挡会使得形状检测和设定的阈值失效，因此单纯的形状检测或设定阈值的方法不适用自然环境下的机器人采摘。

发明内容

本发明的目的在于提供一种基于深度学习与图像处理结合的葡萄果梗识别方法，以克服传统葡萄采摘机器人单纯依靠形状检测或设定颜色阈值分割来识别葡萄果梗，不能满足在自然环境下作业的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习与图像处理结合的葡萄果梗识别方法，包括以下步骤：步骤一，采集果梗图片数据；步骤二，获取果梗识别模型；步骤三，获取果梗区域坐标；步骤四，图像处理；步骤五，获取果梗坐标；

其中在上述步骤一中，采集大量的带有果梗的葡萄生长图片，使用labelImg标注工具对葡萄果梗图片进行标注；

其中在上述步骤二中，通过深度学习模型yolov5对标注后的带有果梗的葡萄生长图片进行识别训练，得到葡萄果梗识别模型；

其中在上述步骤三中，将测试图片输入葡萄果梗识别模型，获取葡萄果梗感兴趣区域，进而得到葡萄果梗区域坐标；

其中在上述步骤四中，将测试图片进行非线性双边滤波处理；

其中在上述步骤五中，将果梗感兴趣区域坐标作为grabcut分割算法的rect参数输入，然后对步骤四中处理后的图片进行分割处理，即可分割出果梗图片，得到果梗坐标。

优选的，所述步骤一中，使用Intel RealSense系列相机采集带有果梗的葡萄生长图片。

优选的，所述步骤一中，labelImg标注的具体方法为：

1)建立yolo文件夹，建立images子文件夹用来存放样本图片，建立labels子文件夹用来存储标注信息；

2)将所采集的样本图片放到images文件夹下；

3)运行labelImg，修改标记模式为yolo模式，修改标注后数据存储的路径为labels子文件夹；

4)选择图片目录，打开images子文件夹，选择样本图片；