[发明专利]一种基于图注意力网络的葡萄疏果识别方法

说明书

本发明属于及葡萄图像识别领域，特别涉及一种基于图注意力网络的葡萄疏果识别方法。本发明通过实例分割算法得到葡萄果粒的分割结果，根据葡萄果粒自身特征与果粒之间的关联特征建立图结构，其中，果粒的自身特征用果粒位置与尺寸信息表示，通过图注意力网络学习得到大小一致性特征，果粒之间的关联特征用果粒距离表示，通过图注意力网络学习得到果粒间隙特征，使用图注意力网络进行葡萄疏果整图分类，挖掘果粒图结构与是否疏果的判断之间存在的关联性，实现葡萄疏果识别。与现有葡萄疏果识别做法相比，提高了葡萄疏果自动识别的准确性。

技术领域

本发明属于及葡萄图像识别领域，特别涉及一种基于图注意力网络的葡萄疏果识别方法。

背景技术

葡萄疏果是葡萄种植过程中一项非常重要的农事操作，通常在开花坐果期进行疏果，使用剪刀除去病虫害、畸形、尺寸较小的果粒，因为这些果粒消耗养分，影响其它果粒正常生长，导致果粒大小不一，果形不整齐，最终影响果品，降低经济效益。

判断园区葡萄的疏果情况对于规模化葡萄种植企业非常重要，传统的做法是人工巡园，统计果穗的疏果率，这种方式费时费力，效率较低。随着智能农机的发展，无人巡园车可替代人工巡园，通过摄像头采集葡萄图片，进行疏果识别与统计分析。

基于通用图像分类的疏果识别方法，将葡萄果穗图像分为已疏果与未疏果两类，标注人员通过观察果粒大小一致性与果粒间隙进行二分类标注，但基于通用卷积神经网络的模型难以学习果粒大小一致性与果粒间隙这两个关键的非量化特征，识别正确率较低。

发明内容

为了解决上述问题，本发明提供了一种基于图注意力网络的葡萄疏果识别方法，通过实例分割算法得到葡萄果粒的分割结果，根据葡萄果粒自身特征与果粒之间的关联特征建立图结构，其中，果粒的自身特征用果粒位置与尺寸信息表示，通过图注意力网络学习得到大小一致性特征，果粒之间的关联特征用果粒距离表示，通过图注意力网络学习得到果粒间隙特征，使用图注意力网络进行葡萄疏果整图分类，挖掘果粒图结构与是否疏果的判断之间存在的关联性，实现葡萄疏果识别。具体技术方案如下：

一种基于图注意力网络的葡萄疏果识别方法，包括以下步骤：

步骤S1，实例分割数据集制作：采集葡萄果穗图片数据，并对果粒进行实例分割标注，用标注工具标注葡萄果穗图片中每颗果粒的多边形区域，将采集的葡萄果穗图片数据划分为训练集、验证集与测试集；

步骤S2，图注意力网络数据集制作：对步骤S1中的训练集、验证集分别进行疏果分类标注，标注人员对葡萄果穗图片进行分析判断，标注为已疏果或未疏果，并建立图结构，得到图注意力网络模型的训练集与验证集；所述葡萄果穗图片为一个完全图，设该完全图包括N个顶点，所有顶点由一条边相互连接，每个顶点代表一个果粒；

步骤S3，实例分割模型训练：将步骤S1中的训练集输入实例分割模型中进行训练，训练过程中，将步骤S1中的验证集输入至训练好的实例分割中间模型进行验证；当训练好的实例分割中间模型的识别正确率大于等于预设值时，则将训练好的实例分割中间模型作为最终的实例分割模型输出，若是实例分割中间模型的识别正确率小于预设值，则重复步骤S3，直至训练好的实例分割中间模型的识别正确率大于等于预设值；

步骤S4，图注意力网络构建：构建图注意力网络模型，所述图注意力网络包括输入层、图注意力模块、输出层；所述输入层为包含顶点特征的图结构，每个顶点包含F个特征，所述特征至少包括归一化后的果粒中心点的横坐标、归一化后的果粒中心点的纵坐标、归一化后的果粒像素面积；通过归一化后的果粒像素面积表征果粒大小一致性，通过归一化后的果粒之间的距离表征果粒间隙；所述归一化后的果粒之间的距离通过归一化后的果粒中心点的横坐标、归一化后的果粒中心点的纵坐标计算得到；

所述图注意力模块通过多头注意力机制加权求和的方式实现特征学习；所述输出层用于对葡萄是否疏果进行识别；

步骤S5，图注意力网络损失函数构建：采用交叉熵作为整图分类训练的损失函数；