[发明专利]一种面向智慧大棚的果实检测方法、装置及存储介质

说明书

本申请涉及一种面向智慧大棚的果实检测方法、装置及存储介质，方法包括在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR‑YOLOv5网络；将待检测图像输入至训练好的FR‑YOLOv5网络进行检测，得到每个果实在待检测图像中的位置坐标；根据各果实的位置坐标，依次从待检测图像中裁剪出每个果实的所在区域图像；将区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别。该方法能降低检测复杂程度，提升检测准确率。

技术领域

本申请涉及果实采摘技术领域，尤其涉及一种面向智慧大棚的果实检测方法、装置及存储介质。

背景技术

传统大棚主要依靠人力和人工经验进行果实采摘以及后续的果实品质分级，这一过程不仅效率低下，而且会消耗大量的人力，造成较高的生产成本。因此，提高果实采摘的智能化程度成为了智慧大棚产业的主要发展方向之一，而实现采收成熟期果实的准确检测是进行智能化果实采摘的基础，能够为果实采摘机器人提供精确的目标信息。

近年来，由于出色的特征提取能力，基于卷积神经网络的目标检测技术在多个领域取得了良好的实用效果，并被逐渐应用于果实的自动化检测中。然而，现有基于深度学习的果实检测算法主要分为两大类：仅进行果实的定位检测，实用性不足；或者采用一个网络实现果实的定位和成熟度检测两个任务，导致网络所需提取特征的复杂性较高，模型难以收敛到最优解。因此，亟需一种全面可靠的智能化果实检测方法，在快速准确地进行果实定位的同时，判断其是否达到规定的采收成熟度，并进行产量统计，从而指导采摘机器人更规范准确地进行果实采摘和分类放置。

公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题，本申请提供一种面向智慧大棚的果实检测方法、装置及存储介质，能降低检测复杂程度，提升检测准确率。

第一方面，本申请提供了一种面向智慧大棚的果实检测方法，包括：

在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，两个CBAM注意力模块分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；

基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR-YOLOv5网络；

将待检测图像输入至训练好的所述FR-YOLOv5网络进行检测，得到每个果实在所述待检测图像中的位置坐标；根据各果实的位置坐标，依次从所述待检测图像中裁剪出每个果实的所在区域图像；

将所述区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别。

可选的，面向智慧大棚的果实检测方法还包括：

统计各个成熟度类别的果实的数量。

可选的，面向智慧大棚的果实检测方法还包括：

采用工业相机拍摄大棚内不同生长周期下的果实图像；

对所述果实图像进行图像标注，在每张果实图像中标注出各个果实的所在位置框，获得每张果实图像对应的标注文件；

通过图像预处理对所述果实图像进行数量扩充；

将扩充后的果实图像和对应的标注文件按比例划分为第一训练集和第一测试集，得到果实检测数据集；