[发明专利]温室果实识别方法及装置

权利要求书

1.一种温室果实识别方法，其特征在于，包括：

将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；

根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；

根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；

其中，所述采摘类别为可机摘果实和不可机摘果实。

2.根据权利要求1所述的温室果实识别方法，其特征在于，所述根据所述目标检测网络模型，从所述目标图像中提取果实特征，包括：

根据所述目标检测网络模型中的Focus层，对所述目标图像进行切片处理，获取多通道的特征图；

对各所述特征图进行特征增强，获取果实特征。

3.根据权利要求1所述的温室果实识别方法，其特征在于，所述根据所述语义分割网络模型，从所述目标图像中提取障碍物特征，包括：

根据所述语义分割网络模型中的MobileNetV2网络提取所述目标图像中障碍物的初始特征；

根据所述语义分割网络模型中的ASPP模块对所述初始特征进行处理，获取所述初始特征的多尺度信息；

根据所述语义分割网络模型中的卷积层和解码器，对所述多尺度信息进行处理，获取所述障碍物特征。

4.根据权利要求1所述的温室果实识别方法，其特征在于，所述果实特征包括表示果实不熟的第一果实特征、表示果实中熟的第二果实特征以及表示果实成熟的第三果实特征；

所述根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别，包括：

当所述果实特征为第三果实特征，且所述果实特征和所述障碍物特征，在所述目标图像中未重叠时，确定所述目标图像中果实的采摘类别为可机摘果实。

5.根据权利要求1-4任意一项所述的温室果实识别方法，其特征在于，在将果实图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型之前，还包括：

根据采集到的各温室果实图像，确定各训练图像；

对各训练图像中的果实分别进行果实成熟度类别标注后，输入待训练的目标检测网络模型中，获取各训练图像的果实特征；

将各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注进行匹配，迭代更新所述目标检测网络模型的参数，直至各所述训练图像的果实特征，与各所述训练图像的果实成熟度类别标注的匹配度达到预设条件。

6.根据权利要求5所述的温室果实识别方法，其特征在于，所述根据采集到的各温室果实图像，确定各训练图像，包括：

根据采集到的各所述温室果实图像，对各所述温室果实图像之间进行随机拼接，获取各拼接图像；

将各所述温室果实图像和各拼接图像，组成各所述训练图像。

7.根据权利要求5所述的温室果实识别方法，其特征在于，还包括：

对各训练图像中的障碍物分别进行障碍物类别标注后，输入待训练的语义分割网络模型中进行图像分割，获取各训练图像的障碍物特征；

根据各所述训练图像的障碍物特征与预设二值图的误差进行反向传播，迭代更新所述语义分割网络模型的参数，直至各所述训练图像的障碍物特征与预设二值图的误差小于预设值。

8.一种温室果实识别装置，其特征在于，包括：

图像输入模块，用于将目标图像同时输入训练好的目标检测网络模型和训练好的语义分割网络模型；

特征提取模块，用于根据所述目标检测网络模型，从所述目标图像中提取果实特征，并根据所述语义分割网络模型，从所述目标图像中提取障碍物特征；

果实识别模块，用于根据所述果实特征和所述障碍物特征，对所述目标图像进行二分类，确定所述目标图像中果实的采摘类别；

其中，所述采摘类别为可机摘果实和不可机摘果实。