[发明专利]一种基于UVid-Net的无人机航拍视频的语义分割方法

权利要求书

1.一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于：包括下列步骤：

S100、数据采集：收集用于无人机视频语义分割的数据集，并对其类别进行像素级标注，完成模型训练所需数据集的构建；

S200、数据预处理：预处理包括归一化、数据划分和图像缩放等，并且扩增数据集，保证模型训练效果；

S300、识别模型：构建基于UVid-Net的语义分割模型，输入训练数据，完成参数模型的搭建；

S400、模型保存：当模型的损失函数不再降低之后，保存模型；

S500、模型评价：通过多种评价指标对模型的分割结果进行性能评估。

2.如权利要求1所述的一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于，步骤S100数据收集的具体步骤为：收集多种用于无人机视频语义分割的扩展版本ManipalUAVid数据集，所述数据集包括多个视频，并为视频的关键帧提供了标注，且对绿化、建筑、道路、水体四个背景类进行像素级标注。

3.如权利要求1所述的一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于，步骤S200中，具体步骤包括：归一化，对所有数据进行归一化操作，统一量纲，方便模型训练

其中x′为归一化后的数据集，x为未处理的数据集。

数据划分：将数据集按照7：2：1的比例分为训练集、验证集与测试集，训练集用于模型的训练，验证集用于检测模型损失是否继续下降，测试集用于测试模型效果；

图像缩放：由于获取的原始图像数据集中的图像大小不固定，故将数据集划分后得到的所有数据进行缩放，以便输入模型，将其按照大小比例全部调整为1280×720的像素尺寸大小；

数据扩充：通过将收集的两种用于无人机视频语义分割的数据集进行融合，形成新的扩展ManipalUAVid数据集，该数据集通过合并两个数据集得到更多的视频数据，且每个视频中包含更多的帧，这有助于评估视频语义分割模型的时间一致性。

4.如权利要求3所述的一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于，S300中还包括模型构建：构建基于UVid-Net的网络模型对无人机航拍视频进行语义分割，通过将两帧和作为网络模型的输入，之后对进行语义分割，所述模型分为编码和解码两个模块，在编码阶段通过两种不同的结构U-Net和ResNet-5分别进行特征提取，其中U-Net编码器由卷积层和maxpool层组成，用于特征提取，该编码器的上分支包含四个模块，所述上分支模块由两个连续的3×3卷积层组成，其中包括batch归一化和ReLU激活函数，之后，激活过程通过一个1个1×1的卷积层用于减少特征图的维数，最后，maxpooling层用于提取最显著的特征用于后续的层，且每次进行最大池化操作后，特征映射的数量会增加一倍，编码器的下分支也由四个模块组成，所述下支各模块各有一组带有batch归一化和ReLU激活函数的3×3卷积层和maxpooling层，所述maxpooling层提取最显著的特征，且与上面的分支类似，每次最大池化操作后，特性映射的数量都会增加一倍。

5.如权利要求4所述的一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于，编码器上下分支提取的特征被输入到两个单独的瓶颈层，最后，这两个分支的激活被连接起来，并提供给解码器；而ResNet-50特征提取器由残余块组成，有助于缓解消失的梯度，该架构由初始的核大小(7x7)卷积操作，然后是批处理归一化层和ReLU激活函数组成。

6.如权利要求1所述的一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于，S400中，当模型的损失函数不再降低之后，保存模型，而损失函数通过使用交叉熵损失函数来进行计算，其公式如下：

其中yi表示样本i的标签，pi表示样本i预测正确的概率，N表示类别个数。

7.如权利要求1所述的一种基于UVid-Net的无人机航拍视频的语义分割方法，其特征在于，S500中，通过计算以下多种评价指标来评估模型分割结果的性能，如：交集均值(mIoU)、精度(Precision)、召回率(Recall)和F1-Score，其公式如下：

其中，TP、FP、TN和FN分别表示真阳性、假阳性、真阴性和假阴性预测。