[发明专利]重叠果实检测方法及系统

说明书

本发明提供一种重叠果实检测方法及系统，属于计算机视觉技术领域，利用预先训练好的检测模型对待检测的果实图像进行处理，获得果实图像中重叠果实的检测结果；其中，利用预先训练好的检测模型对待检测的果实图像进行处理时，提取特征经融合后得到融合特征图，基于融合特征图进行像素点分类、像素点位置回归以及目标框中心度检测，实现重叠果实的检测。本发明对于不同层级的图片特征之间存在的语义差异问题，使用一致性监督算法，通过施加相同的监督信号，确保横向连接之后的苹果特征图包含相似的语义信息；使用了AugFPN后的模型，提高了对重叠果实的识别精度及识别速度，解决了重叠果实难识别、识别精度低的问题，提高了果实识别采摘工作效率。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种提高了果实识别效率和识别精度的重叠果实检测方法及系统。

背景技术

果园采摘机器人对于正常的绿色苹果果实以及受各种光照影响的绿色苹果果实的采摘效率较高，而对于被枝叶遮挡和重叠的果实采摘效率较低，因此，对于复杂果园背景下的重叠果实和被枝叶遮挡果实的采摘成为目前亟待解决的问题，对提高采摘机器人工作效率的研究也具有更高的意义。

目前，对于重叠果实的检测问题取得了一定的进展，然而对于对于现有目标检测框架的改进都是关注于更好的主干架构设计，而很少关注到特征金字塔FPN的改进，所以对于很多重叠对象的检测经常出现错误，特别是对于同类果实的目标检测，检测结果不够准确。

发明内容

本发明的目的在于提供一种重叠果实检测方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种重叠果实检测方法，包括：

获取待检测的果实图像；

利用预先训练好的检测模型对待检测的果实图像进行处理，获得果实图像中重叠果实的检测结果；其中，预先训练好的检测模型由训练集训练得到，所述训练集包括多张果实图像以及标注图像中重叠的果实为目标果实的标签；

其中，利用预先训练好的检测模型对待检测的果实图像进行处理时，提取特征经融合后得到融合特征图，基于融合特征图进行像素点分类、像素点位置回归以及目标框中心度检测，实现重叠果实的检测。

优选的，基于主干网络ResNet101训练所述检测模型，其中，主干网络ResNet101的多个特征层中建立特征金字塔，在特征金字塔层使用区域生成网络生成感兴趣区域，每个感兴趣区域映射到所有的特征层中，并通过RoI-Align得到每个特征层的感兴趣特征，通过分类分支、位置回归分支和中心度分支，进行目标果实的分类和检测框的回归。

优选的，在特征融合获得融合特征图时，使用一致性监督算法，通过施加相同的监督信号，确保横向连接之后的特征图包含相似的语义信息。

优选的，在特征融合时，通过残差特征增强，使用比例不变的自适应池关联上下文信息，降低高级特征的信息损失。

优选的，对于一个果实遮挡另一个果实的图像，将两个果实标注为一个完整果实；对于叶子遮挡果实的图像，忽略叶子遮挡的部分，将该被叶子遮挡的果实标注为一整个完整果实。

优选的，网络在输出每个位置类别信息的同时，输出一个无类别的中心度分支，中心度表示位置与其所预测果实的中心之间的距离，用距离来表示该位置是否是果实的中心的置信度。

优选的，分类分支中在每个特征图后，连接一个激活函数，然后再用Focal损失函数，以像素点为训练样本，每个像素别标记上类别或者背景标签进行分类分支的训练；位置回归分支在训练的时候，损失采用IOU损失函数，以目标框中每个像素点到目标框四条边的距离作为目标值进行边框回归分支的训练。

第二方面，本发明提供一种重叠果实检测系统，包括：