[发明专利]一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法

权利要求书

1.一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法，其特征在于，包括以下步骤：

(1)在边缘计算嵌入式硬件的控制下，无人机根据预设的航线任务进行水稻田的图像拍摄采集，并通过无线通信传输模块将所采集的图片样本传输至地面站；

(2)地面站对所述图片样本进行预处理，并对预处理后的图片样本进行语义标注，形成标签图片；

(3)将步骤(2)中的标签图片及相关数据输入至改进BiSeNetV2分割网络中进行训练，并对改进BiSeNetV2分割网络进行参数调整，得到杂草识别模型；

(4)将所述杂草识别模型进行量化冻结生成PB文件，并移植至边缘计算嵌入式硬件中，边缘计算嵌入式硬件对杂草识别模型进行优化加速；

(5)在边缘计算嵌入式硬件的控制下，无人机根据预设的航线任务对待测水稻田进行图像拍摄采集，通过所述杂草识别模型对所采集的图像进行实时识别检测，且对该水稻田的杂草密度进行计算；

(6)最后通过无线通信传输模块，将实时获取的杂草识别结果和杂草密度统计结果发送至地面站；同时，返回步骤(5)，无人机继续进行下一航线任务的飞行作业；

所述改进BiSeNetV2分割网络，其改进方法包括细节分支的改进，以实现分支结构的轻量化；引入特征融合分支，使分割识别结果更加精确；优化和增强训练策略，使分割识别结果更加准确；

细节分支的改进，具体为：设计反向残差结构的Bottleneck模块作为细节分支每一阶段的特征提取层，Bottleneck模块的第一层通过1×1标准卷积将输入特征图映射到高纬度空间，然后连接两层深度卷积对卷积输出特征图进行逐通道卷积，其中第一层深度卷积设置步长为2，用于减少输出特征图尺寸，扩大感受野范围，最后通过一层1×1卷积对特征图进行逐点卷积输出；

引入特征融合分支，具体为：包括三个阶段，每个阶段首先通过级联操作融合与输入特征图具有相同尺度的语义分支和细节分支的输出特征，接着采用一个3×3卷积对融合后的特征进行提取，最后通过反卷积上采样操作恢复特征图的尺寸；

在步骤(5)中，杂草密度计算包括杂草像素占比和杂草所占的实际面积；其中，计算过程如下：

(a)对空间分辨率GSD进行计算，

GSD＝(Sw×100×H)/(imW×Fr)

式中，Sw为相机传感器的宽度，Fr为相机真实焦距，H为无人机的飞行高度，imW为图像的宽度；

(b)计算拍摄图像杂草识别结果中杂草的像元数量N，

式中，x_iw为第i个像素为杂草类设定值的记1，否则记0；K为拍摄图片的总像素，K＝W×H，其中W、H分别为拍摄图像的宽和高；

(c)计算拍摄图像识别结果中杂草的像素占比P_weed，

式中，N为杂草的像元数量，K为拍摄图像的总像素；

(d)计算拍摄图像中的杂草所占的实际面积S，

S＝N·GSD²

式中，N为杂草的像元数量。

2.根据权利要求1所述的基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法，其特征在于，在步骤(2)中，对图片样本进行预处理，包括对图片样本进行旋转、翻转以及饱和度和对比度的改变；所述语义标注利用labelme进行。

3.根据权利要求1所述的基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法，其特征在于，优化和增强训练策略，具体为：在整个特征恢复过程中，特征融合分支中每个阶段的卷积输出都参与增强训练策略。

4.根据权利要求1所述的基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法，其特征在于，在步骤(3)中，通过评价指标验证训练后的改进BiSeNetV2分割网络，以实现对参数的调整，提高其分割识别精度；其中，评价指标包括混淆矩阵、像素精度以及平均交并比。

5.根据权利要求1所述的基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法，其特征在于，在步骤(6)中，地面站接收到杂草识别结果和杂草密度统计结果后，按航线的划分区域生成水稻杂草分布密度预测图。

6.根据权利要求1所述的基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法，其特征在于，所述无人机为四旋翼无人机，搭载可见光工业相机。