[发明专利]一种面向智慧大棚的果实检测方法、装置及存储介质

权利要求书

1.一种面向智慧大棚的果实检测方法，其特征在于，包括：

在YOLOv5的特征融合网络中嵌入两个CBAM注意力模块，两个CBAM注意力模块分别用于对YOLOv5的骨干网络的低层的两个输出特征图进行关键信息提取和冗余信息去除；

基于两个CBAM注意力模块所输出的两个注意力特征图进行特征融合，去除YOLOv5预测端的输出特征图的尺寸最小的预测分支，得到用于果实识别和定位的FR-YOLOv5网络；

将待检测图像输入至训练好的所述FR-YOLOv5网络进行检测，得到每个果实在所述待检测图像中的位置坐标；根据各果实的位置坐标，依次从所述待检测图像中裁剪出每个果实的所在区域图像；

将所述区域图像输入至训练好的进行果实成熟度分类的分类网络，得到各个果实的成熟度类别；

统计各个成熟度类别的果实的数量；

采用工业相机拍摄大棚内不同生长周期下的果实图像；

对所述果实图像进行图像标注，在每张果实图像中标注出各个果实的所在位置框，获得每张果实图像对应的标注文件；

通过图像预处理对所述果实图像进行数量扩充；

将扩充后的果实图像和对应的标注文件按比例划分为第一训练集和第一测试集，得到果实检测数据集；基于所述果实检测数据集的第一训练集对FR-YOLOv5网络进行训练；

基于所述果实检测数据集的第一测试集对训练后的FR-YOLOv5网络进行测试，确定FR-YOLOv5网络的检测准确率满足预设准确率要求，FR-YOLOv5网络的训练完成；

建立果实的成熟度分类数据集；

所述果实成熟度分类的分类网络根据所述FR-YOLOv5网络检测得到每个果实在所述待检测图像中的位置坐标信息，将果实检测数据集中的所有果实目标从原图中批量裁剪下来，获得仅包含果实的果实小图，根据所述果实小图中果实的果面着色程度对所有所述果实小图进行分类，将果面着色度大于100％的所述果实小图存放至“一级果”文件夹，将果面着色度小于100％且大于75％的所述果实小图存放至“二级果”文件夹，将果面着色度小于75％的果实小图存放至“未熟果”文件夹；其次，采用旋转、加噪预处理操作对果实图像进行数量扩充；最后，将各文件夹中的果实小图按7:3比例划分为训练集和测试集，从而得到成熟度分类数据集；

采用分类网络ResNet101进行果实的成熟度分类，采用Imagenet数据集对所述ResNet101网络进行参数预训练；然后，采用所述成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；当训练后的ResNet101在测试集上的准确率达到指定要求后，获得ResNet101模型；

将所述FR-YOLOv5网络所输出的各果实所在区域图像作为输入图像，依次输入到ResNet101模型中，从而获得各所述果实小图对应的果实成熟度类别，如果成熟度类别为1，则输出指令“可采摘，属一级果”，并根据索引顺序，输出其在原图像中的坐标信息；如果成熟度类别为2，则输出指令“可采摘，属二级果”，并根据索引顺序，其在原图像中的坐标信息；否则说明果实成熟度不达标，输出指令“未成熟，不采摘”；

根据所述ResNet101模型输出的指令统计不同级别果实的数量。

2.根据权利要求1所述的面向智慧大棚的果实检测方法，其特征在于，还包括：

采用Imagenet数据集对ResNet101进行参数预训练；

采用成熟度分类数据集的训练集对预训练后的ResNet101进行网络训练和参数优化；

确定训练后的ResNet101在成熟度分类数据集的测试集上的准确率达到预设准确率要求，则确定ResNet101训练完成。

3.根据权利要求1所述的面向智慧大棚的果实检测方法，其特征在于，还包括：

根据所述标注文件中标注出的各个果实的所在位置框，将果实检测数据集中的所有果实目标从原图中裁剪下来，得到仅包含果实的果实小图；

根据所述果实小图中果实的着色面积，为果实小图添加成熟度标签，获得每张果实小图对应的成熟度标注文件；

对所述果实小图进行数量扩充；

将扩充后的果实小图和对应的成熟度标注文件按比例划分为第二训练集和第二测试集，得到成熟度分类数据集。