[发明专利]温室果实识别方法及装置

说明书

本申请提供一种温室果实识别方法及装置。所述方法包括：将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别。本申请实施例提供的温室果实识别方法可以提高对在异构环境中的温室果实的识别准确率，提高果实的采摘效率。

技术领域

本申请涉及农业生产技术领域，具体涉及一种温室果实识别方法及装置。

背景技术

目前，随着规模化、工厂化种植业的盛行，温室果实如温室番茄生产，可采用机械化的方式进行采摘，以提高果实采摘效率。而温室果实采摘机器人在非结构环境下果实目标的随机位置准确感知是核心技术。由于温室番茄的多样性、生长位置随机性等因素的影响，解决温室番茄的识别和定位不准确问题，是保证采摘位置精确、提高采摘效率的关键。

相关技术中，通常采用深度学习的技术，来针对多簇果实图像以及光照不均、阳光斑驳的果实图像进行识别，从而提高果实图像的识别效果，方便采摘机器人进行采摘。

然而，虽然深度学习的应用对温室果实识别效率和效果具有明显提升，但会带来过度识别的新问题。在异构环境中，无法有效识别障碍物，使得部分被枝干或钢丝等障碍物部分遮挡的果实，也会被识别成采摘目标，导致机器人强行采摘这类果实时，枝干和钢丝将损坏末端执行器甚至机器人本身，影响果实的采摘效率。

发明内容

本申请实施例提供一种温室果实识别方法及装置，提高对在异构环境中的温室果实的识别准确率，提高果实的采摘效率。

第一方面，本申请实施例提供一温室果实识别方法，包括：

将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；

根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；

根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；

其中，所述采摘类别为可机摘果实和不可机摘果实。

在一个实施例中，所述根据所述目标检测网络模型，从所述目标图像中提取果实特征，包括：

根据所述目标检测网络模型中的Focus层，对所述目标图像进行切片处理，获取多通道的特征图；

对各所述特征图进行特征增强，获取果实特征。

在一个实施例中，所述根据所述语义分割网络模型，从所述目标图像中提取障碍物特征，包括：

根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始特征；

根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理，获取所述初始特征的多尺度信息；

根据所述语义分割网络模型中的卷积层和解码器，对所述多尺度信息进行处理，获取所述障碍物特征。

在一实施例中，所述果实特征包括表示果实不熟的第一果实特征、表示果实中熟的第二果实特征以及表示果实成熟的第三果实特征；

所述根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别，包括：

当所述果实特征为第三果实特征，且所述果实特征和所述障碍物特征，在所述目标图像中未重叠时，确定所述目标图像中果实的采摘类别为可机摘果实。

在一实施例中，在将果实图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型之前，还包括：