[发明专利]一种基于深度学习的果实识别方法

说明书

本发明提供一种基于深度学习的果实识别方法，通过获取拍摄图像；所述拍摄图像包括果实对象；基于TPH‑YOLOv5模型执行果实对象的检测；所述TPH‑YOLOv5模型包括Transformer编码器预测头和yolo‑v5的主干网络；所述Transformer编码器包含多头注意模块和前馈神经网络MLP模块；所述多头注意模块基于卷积块注意模块CBAM来实现，用于提取注意区域。通过改进的TPH‑YOLOv5目标检测算法，用变换器预测头(TPH)替换原来的预测头，提高了注意机制的预测潜力，且通过集成了卷积块注意模型(CBAM)来寻找稠密物体场景中的注意区域，本发明TPH‑YOLOv5目标检测算法能够大大提高了检测效率以及检测准确率。

技术领域

本发明涉及图像检测领域，具体涉及一种基于深度学习的果实识别方法。

背景技术

世界上广泛应用温室进行设施栽培，20世纪后期以来设施农业产业得到了大规模迅猛发展。设施农业是典型的劳动密集型产业，其中鲜食果蔬的收获又是占用劳动力最多且最难以实现机械化作业的关键环节。即使发达国家的设施农业作业已达到了高度自动化，但采摘环节仍依赖大量人工来完成，实现采摘作业的自动化已成为设施农业生产发展的现实需求。然而，人工采摘十分辛苦和劳累，很多果农因为沉重的采收劳动也使广大果农苦不堪言。因此，国内外针对温室采摘机器人技术开展了大量研究并取得了重要成果。中国现有设施农业面积超过400万hm2，占世界设施园艺总面积的85％。近几十年来中国的设施农业借助农业劳动力资源丰富的优势实现了超高速发展，但是农业劳动力急缺、农业劳动力成本骤升和居民对设施蔬果品质要求的提高，已使我国设施农业遇到了发展的瓶颈。解决关键采摘环节的劳动力替代问题，使我国采摘机器人技术快速发展成为必然。草莓是全球生产和消费最为广泛的鲜食果蔬，也是采摘机器人研究最为活跃、研发成果最为丰富的领域。现阶段随着工业自动化的不断发展，实现草莓采摘的智能化、机械化已经成为了一种必然的发展趋势，而实现智能草莓采摘的关键就是要设计出精度较高的图像识别系统。

受到卷积神经网络(CNN)在许多计算机视觉任务的成功应用的启发，我们将注意力转向基于深度学习的方法来解决视觉问题。基于无人机拍摄的带有注释的草莓数据集，通过神经网络模型训练来得到最终的分类结果。然而，大多数以前的卷积神经网络是为自然场景图像设计的。直接应用以前的模型来处理无人机捕获场景中的目标检测任务主要有三个问题。首先，由于无人驾驶飞机的飞行高度可能变化很大，因此目标比例变化剧烈。其次，无人机拍摄的图像包含高密度的对象，这会在对象之间造成遮挡。第三，无人机拍摄的图像由于覆盖面积大，总是包含令人困惑的背景元素。上述三个问题使得无人机拍摄图像的目标检测非常具有挑战性，而草莓采摘机器人的图像识别系统也会遇到后面两个同样的问题，因此针对无人机拍摄得到草莓图像的解决方案也能很好的仔草莓采摘机器人上进行应用。

现有技术进行草莓的采摘，其中人工采摘，首先，由于我国传统栽培方式都是地面垄作栽培，产量低，地面环境复杂，容易遮挡草莓也不利于草莓采光和采摘，且受到土地限制，采摘时要一直低头弯腰，十分辛苦和劳累，沉重的采收劳动也使广大果农苦不堪言；其次，人工采摘也有很大的经济成本。而基于图像处理的自动采摘，无论是草莓采摘机器人还是无人机拍摄的图像都会包含高密度的对象，这会在对象之间造成遮挡；其次，拍摄的图像由于覆盖面积大，总是包含令人困惑的背景元素。因此使得对采集到的图像进行目标检测非常具有挑战性。为此，得到一个实时性高，识别准确率高的草莓检测识别系统，这个检测识别系统要能够实现较高的识别准确率、识别效率，并且能够有效的降低设备成本，且要对复杂背景中的小目标有很好的检测识别效果显得尤为重要。

发明内容

有鉴于此，本发明提供了一种基于深度学习的果实识别方法，通过用变换器预测头(TPH)替换原来的预测头，提高了注意机制的预测潜力，且集成了卷积块注意模型(CBAM)来寻找稠密物体场景中的注意区域，使得TPH-YOLOv5目标检测算法解决了识别效率以及识别准确率低的问题，且保证小目标识别。

本发明的技术方案如下：

一种基于深度学习的果实识别方法，包括：