[发明专利]一种基于卷积神经网络的果实生长形态视觉辨识方法

说明书

本发明涉及卷积神经网络技术领域，涉及一种基于卷积神经网络的果实生长形态视觉辨识方法，包括以下步骤：S1、图像采集：采集果园不同形态的果实图像，并对图像进行标注；S2、图像增强：将采集到的图像进行数据增强以扩充数据集；S3、搭建卷积神经网络模型；S4、使用SGD优化器对网络参数进行优化；S5、使用训练完的最优模型对测试集进行检测，给出每个目标的预测框、类别和置信度。本发明基于深度学习技术提出了果实生长形态的辨识方法，该方法与Faster‑RCNN、YOLO算法相比，有更高的识别准确率和更快的识别速度，同时模型参数量也更少。

技术领域

本发明涉及卷积神经网络技术领域，尤其涉及一种基于卷积神经网络的果实生长形态视觉辨识方法。

背景技术

我国是一个农业大国，水果产业是种植业中位列粮食、蔬菜之后的第三大产业。近年来，我国的水果产业发展尤为迅速，种植面积和产量快速扩张，水果产业已然形成规模优势，并在不断壮大。但目前大部分水果采摘仍然主要靠手工完成，耗时费力，劳动强度大；再者，随着人口老龄化和农业劳动力的减少，手工采摘费用也相应提高，由此影响水果的市场竞争力。因此果园果实适时高效采收、降低采摘成本尤为重要。基于机器视觉的果蔬采摘机器人可充分利用其信息感知能力对果实进行识别采摘，提高采摘效率，从而提升经济效益，增加农民收入，已经成为国内外智能农机装备领域的研究热点。然而目前采摘机器人实用化产品很少，鲜有大量应用，其主要原因是智能化程度还比较低。鉴于以上情况，开展果实采摘机器人相关技术研究，实现果园果实的机械自动智能化采摘具有重大现实意义。

果蔬的生长形态多种多样，不同生长形态的果蔬对于采摘机器人来说其采摘机制应当是不同的，由此在果蔬采摘机器人作业中，其工作的首要任务是能够视觉辨识出不同生长形态的果蔬，然后机器人才能选用相应方法来完成不同生长形态果蔬的顺利采摘。但是目前大多数研究关注的是单类生长形态果蔬的辨识问题，而针对不同生长形态果蔬的一体化辨识还少有系统研究，然其却是最终必须要解决的必要环节。目前在国内外现有文献中，少有果蔬生长形态视觉辨识方面的专题研究，而只是在果实辨识研究的过程中对单一重叠遮挡和枝叶遮挡果实的生长形态判定略有涉及。中国农业大学张亚静等人通过确定单个果实面积阈值，计算采集图像分割后每个区域的面积来判定是否为多果重叠情况。江苏大学蔡健荣等人则是通过分割后的柑橘果实图像中最小外接矩形边长阈值a/b1.4来判断果实是否存在重叠。中国农业大学荀一等人约定如果两个或多个苹果果实拟合圆重叠部分大于其中最小圆的1/2时，认为一个苹果果实由于枝叶遮挡被分割成几个不同的目标，将其算作枝叶遮挡形态果实。而在采摘机器人多生长形态果蔬辨识方法研究方面，申请号CN201310188346.4专利，提出基于几何计算与区域映射相结合的方法由粗到精来进行辨识。上述文献多只是单一果蔬生长形态的判定，而又过于简单化；而本团队前期所研究多生长形态果蔬辨识方法则传统繁杂，适用性有限，总之至今尚无一个完善较为成熟的不同生长形态果蔬的辨识方法。

发明内容

本发明所要解决的技术问题是：基于深度学习搭建网络，来实现苹果果实生长形态的辨识，使得采摘机器人能够自动视觉辨识果实生长形态，为进一步对其选用相应的采摘机制奠定基础。

本发明所采用的技术方案：一种基于卷积神经网络的果实生长形态视觉辨识方法，包括以下步骤：

S1、图像采集：使用单反拍摄若干果园不同形态的果实图像，并对图像进行标注，不同形态的果实图像共有四种形态，包括：无枝茎遮挡单个果实、枝茎遮挡单个果实、无枝茎遮挡重叠果实和枝茎遮挡重叠果实；

S2、图像增强：将采集到的果实图像进行数据增强以扩充数据集，数据增强方法包括饱和度调整、对比度调整、翻转以及清晰度调整，并随机将图像按6：2：2的比例划分为训练集、验证集和测试集；