[发明专利]一种目标多类别实时分割方法及系统

说明书

本发明提供一种目标多类别实时分割方法及系统，包括：将无人车在行驶过程中实时采集的果园图像输入至训练好的语义分割网络，获取所述语义分割网络输出的分割图像，根据分割图像中不同颜色块的分布情况，确定与果园图像所对应的障碍物分布状态；语义分割网络是基于SegNet网络构建的。本发明提供的目标多类别实时分割方法及系统，采用基于改进的SegNet网络构建语义分割网络，适用于智能农机的导航和农业场景的感知，能实时的确定无人车前方的障碍物分布，从而指导无人车可准确避开障碍物，有效地弥补了传统的果园识别中智能化程度低、识别不够精确等缺陷，能适应现代化果园植保作业的需求。

技术领域

本发明涉及农业智能装备技术领域，尤其涉及一种目标多类别实时分割方法及系统。

背景技术

随着智能化农机设备不断的改进与发展，对果园中多类别物体的识别也有了更高的要求。近年来，基于神经网络的果园分割方法是果园植保作业中一项重要的组成部分，与传统的果园识别技术相比具有明显的优势。果园复杂环境下包括行人、电线杆、房屋及车辆等障碍物，实现对果园中植株及各种障碍物的精确识别，对果园内自动驾驶及人机交互等安全作业具有重要的研究意义。

在神经网络领域，基于深度学习方法的精度远高于经典的灰度分割、条件随机场等分割方法。基于神经网络的方法主要有U-Ne、DeepLab等方法。其中，基于DeepLab的果园场景多类别实时分割方法需要先构建果园场景下多类别图像的数据集，并在TensorFlow深度学习框架上搭建基于改进的DeepLab的语义分割模型；进而将模型中的参数初始化以得到训练模型，通过构建的果园场景下多类别图像的数据集对所建立的模型进行训练；最后将拍摄的新的果园场景图片，输入至该模型进行果园中障碍物及树木的检测和识别，完成果园环境的实时分割。

基于DeepLab的果园场景识别与分割方法在一定程度上推动了果园植保机械朝着智能化与信息化的方向快速发展，但是该方案还存在着如下缺陷：

1)采用该方式实现果园分割时，需要通过上位机拍摄大量的不同条件下的果园视频，以实现原始数据集的采集。若未进行数据集的扩增，可能存在内部数据结构的丢失及空间层级化信息丢失。另外，其空洞卷积虽没有增加参数的数量，但有可能造成网格效应，从而影响果园分割精度。导致果园分割识别不准。

2)在该方式下，小物体信息很难重建，存在一定的局限性。假设其构建的模型有四个池化层(pooling layer)，则任何小于2⁴＝16pixel的物体信息将在理论上无法实现。但由于在实际作业过程中，相机拍摄的图片除果树之外，其余障碍物的类别也较多，故难以达到果园多类别的实时分割的效果。

3)在该方式下进行果园植保作业时，由于无人车在行驶过程中拍摄的大量图片需进行实时处理，且在实际果园中，既需要将果树和无人车行驶的道路有效分割，还要准确识别石头、行人及房屋等障碍物。如果模型的识别速度较慢，就会导致在作业过程中无人车的反应较慢，甚至在遇到障碍物时，不能及时制动及停止，存在一定的安全隐患。

有鉴于此，亟需提供一种更为先进的障碍物识别方法，以确保无人车安全且高度自主的行驶。

发明内容

针对现有技术存在的问题，本发明实施例提供一种目标多类别实时分割方法及系统。

本发明提供一种目标多类别实时分割方法，包括：将无人车在行驶过程中实时采集的果园图像输入至训练好的语义分割网络，获取语义分割网络输出的分割图像，根据分割图像中不同颜色块的分布情况，确定与果园图像所对应的障碍物分布状态；语义分割网络是基于SegNet网络构建的。

根据本发明提供的一种目标多类别实时分割方法，在将无人车在行驶过程中实时采集的果园图像输入至训练好的语义分割网络之前，还包括：采用MobileNet v3网络作为所述SegNet网络的主干网络，并采用Mish函数作为所述SegNet网络的激活函数，创建待训练的语义分割网络。