[发明专利]基于强化学习的遥感影像的语义标注方法

说明书

本发明提供一种基于强化学习的遥感影像语义标注方法，包括如下几个步骤：数据获取；数据预处理；切割影像数据；制作样本集标注；构建强化学习网络模型；设置训练参数；选取训练集、验证集；使用训练集训练视觉语义嵌入网络；使用训练集训练value网络；使用训练集训练policy网络；使用训练集联合训练policy、value网络；使用验证集进一步优化网络参数；验证模型效果。本发明的目的就是将计算机视觉领域与遥感领域相结合，以强化学习的理念为基础对传统的VGG接GRU模型进行改进，进而解决传统方法的大样本量、训练周期长的问题，同时利用强化学习中实时反馈的机制可以减少目前遥感中难以解决的“同物异谱”、“异物同谱”问题对精度的影响。

技术领域

本发明涉及到图像分类及图像标注领域，具体而言是在高分辨率遥感影像中，对于影像中对象的空间关系识别以及语义描述。

背景技术

图像标注近年来成为了计算机视觉领域的研究热门。同时，能够实现精确的图像分类也是提升图像标注精度的关键。在深度学习领域，对于自然场景下的图像分类任务和图像标注任务也都有了较为完善的算法。在众多算法模型中，VGG16作为图像分类中较为经典的模型一般运用于目标对象特征提取中，同时GRU网络也是图像语义标注中常用的网络。将VGG16与GRU相结合的思路是图像分类及语义标注的常用模型。

本次研究主要是基于高分辨率遥感影像的语义标注任务，与常规图像标注任务不同的是遥感影像中存在着更为复杂的对象以及对象空间关系，由于其本身的复杂性，使用常规的VGG16接GRU模型存在着以下的问题：

其一，遥感影像中存在着复杂的对象，一张影像图片中会存在同类地物有多个对象且这些对象与周围的空间关系也不同，确定区分影像中的对象是遥感影像语义标注的关键。而传统的模型适用于自然影像，影像中对象较少，影像复杂度远不如遥感影像。因此将传统模型用于遥感影像语义标注效果达不到要求。

其二，传统的VGG16接GRU模型每次的训练迭代需要是整个网络输出最后时刻单词生成完整句子时才能开始参数调整的操作。因此，模型训练的动态调整参数的性能不高，使得模型训练需要更多的迭代次数，更长的时间。

其三，传统VGG16接GRU的模型需要大量的样本。制作样本的过程中需要对影像手动添加标签，遥感影像本身较其他图片更为复杂，因此在添加标签时需要耗费更多的时间。

其四，遥感影像中存在着“异物同谱”现象，不同对象可能存在着形状纹理特征近似的现象，使得其图像特征差异性很小，不利于对对象进行分类，使用传统的VGG16接GRU模型不能减少该问题带来的误差。

发明内容

本发明的目的是在基于强化学习模型的基础上对传统的VGG16接GRU的图像语义标注模型进行改进，结合图像分类算法实现其对多对象、关系复杂的高分遥感影像进行语义标注的任务。高分遥感影像与一般的影像不同，存在着对象多、关系复杂的现象，同时影像中也存在着不同类别之间特征差异小的现象，使得图像分类的难度提高。目前，将传统的自然场景下图像分类以及语义标注模型运用于遥感影像很少有人涉猎，更不用提传统模型运用于遥感影像的优化算法了。因此，将传统VGG16接GRU模型直接运用的效果并不理想。此外，遥感影像本身的复杂性，网络训练需要更多的样本，使得制作样本的压力增大。在深度学习领域，强化学习方法也是研究的热点。强化学习的优势在于可以通过输入与样本之间产生的反馈数值动态调整参数，学习了反馈机制就可以用于网络训练，代替了传统的给样本贴标签的方法，从而能够减少样本量。于是，本次发明就是在计算机视觉领域图像语义标注技术的基础上，使用强化学习方法与传统的遥感影像分类方法相结合的模式，可以减少模型训练中所需的样本数量，完成遥感影像的自动标注任务，将计算机视觉与遥感影像分类方法跨学科结合，将语义标注从自然场景的简单对象扩展到复杂的遥感影像中。

为了实现上述目的，本发明将预处理的高分辨率遥感影像作为输入数据，进行基于强化学习的高分辨率遥感影像语义标注方法的研究，具体的研究过程如下：