[发明专利]一种基于UVid-Net的无人机航拍视频的语义分割方法

说明书

本发明属于语义分割技术领域，具体涉及一种基于UVid‑Net的无人机航拍视频的语义分割方法，包括如下步骤：数据采集：收集用于无人机视频语义分割的数据集，并对其类别进行像素级标注，完成模型训练所需数据集的构建；数据预处理：预处理包括归一化、数据划分和图像缩放等，并且扩增数据集，保证模型训练效果；识别模型：构建基于UVid‑Net的语义分割模型，输入训练数据，完成参数模型的搭建；模型保存：当模型的损失函数不再降低之后，保存模型；模型评价：通过多种评价指标对模型的分割结果进行性能评估。本发明的编码路径通过从多帧中提取特征来捕捉视频的时间动态，可以用于保留编码器层的特征，提高语义分割性能。

技术领域

本发明属于语义分割技术领域，具体涉及一种基于UVid-Net的无人机航拍视频的语义分割方法。

背景技术

航空图像分析已用于评估自然灾害后的立即损害。通常，航空图像是由卫星上的合成孔径雷达(SAR)、超光谱成像等不同成像方式捕获的。近年来，无人机(UAV)也被广泛应用于灾害管理、城市规划、野生动物跟踪、农业规划等各种应用。由于快速部署和定制的飞行路径，无人机图像/视频，可以提供额外更精细的细节和补充基于卫星的图像分析方法的关键应用，如灾害响应。此外，无人机图像可以与卫星图像结合使用，以更好地进行城市规划或地理信息更新。然而，无人机图像/视频分析仅限于目标检测和识别任务，如建筑物检测、道路分割等，目前针对无人机图像或视频的语义分割工作还很有限。

现有技术存在的问题或者缺陷：目前的语义分割是将预先确定的类标签分配给图像中所有像素的过程。然而，扩展视频应用的语义分割过程中如何整合时间信息还存在一定的困难。

发明内容

针对上述问题，本申请提供一种基于UVid-Net的无人机航拍视频的语义分割方法，收集用于无人机视频语义分割的扩展版本ManipalUAVid数据集，并对绿化、建筑、道路、水体四个背景类进行像素级标注。完成数据收集后，对数据进行预处理，预处理包括分割，加噪。将预处理后的数据输入搭建好的UVid-Net网络中进行网络模型的训练，待到模型损失函数不再下降，保存模型，完成模型构建，并通过多种评价方法对模型进行性能评估。本发明采用的技术方案为：

一种基于UVid-Net的无人机航拍视频的语义分割方法，包括下列步骤：

S100、数据采集：收集用于无人机视频语义分割的数据集，并对其类别进行像素级标注，完成模型训练所需数据集的构建；

S200、数据预处理：预处理包括归一化、数据划分和图像缩放等，并且扩增数据集，保证模型训练效果；

S300、识别模型：构建基于UVid-Net的语义分割模型，输入训练数据，完成参数模型的搭建；

S400、模型保存：当模型的损失函数不再降低之后，保存模型；

S500、模型评价：通过多种评价指标对模型的分割结果进行性能评估。

进一步的，步骤S100数据收集的具体步骤为：收集多种用于无人机视频语义分割的扩展版本ManipalUAVid数据集，所述数据集包括多个视频，并为视频的关键帧提供了标注，且对绿化、建筑、道路、水体四个背景类进行像素级标注。

进一步的，步骤S200中，具体步骤包括：归一化，对所有数据进行归一化操作，统一量纲，方便模型训练

其中x′为归一化后的数据集，x为未处理的数据集。

数据划分：将数据集按照7：2：1的比例分为训练集、验证集与测试集，训练集用于模型的训练，验证集用于检测模型损失是否继续下降，测试集用于测试模型效果；

图像缩放：由于获取的原始图像数据集中的图像大小不固定，故将数据集划分后得到的所有数据进行缩放，以便输入模型，将其按照大小比例全部调整为1280×720的像素尺寸大小；