[发明专利]一种基于多级特征融合的遥感图像语义描述方法

说明书

本发明提供一种基于多级特征融合的遥感图像语义描述方法，属于遥感图像处理和计算机视觉领域，包括以下步骤：获取高分辨率遥感影像，构建遥感图像语义描述数据集；利用语义标注数据集训练图像的语义分类模型，由图像提取单词描述并进行编码，得到语义特征；利用目标检测数据集训练目标检测模型，提取图像的区域级特征并进行编码，得到视觉特征；将获取的语义和视觉特征进行聚合，即将两组特征拼接在一起；将聚合后的多级特征作为Transformer的输入，训练图像自然语言生成模型。本发明利用了图像的语义和视觉特征，提取的信息包含了场景信息、区域视觉信息和对象的语义关系，生成的图像语义描述可读性强，准确性高。

技术领域

本发明属于遥感图像处理和计算机视觉领域，具体涉及一种基于图像视觉、语义特征融合和注意力机制的遥感图像自然语义描述方法。

背景技术

随着传感器技术的迅速发展，人类对地球的观测能力越来越高，获取的数据量显著增加。但是，信息处理水平严重滞后于遥感数据获取技术的发展，使得海量的数据得不到有效的利用。研究和探索对数据量巨大的遥感图像进行快速准确的理解，提取有用的信息，进而指导在农业、环境、交通、军事等领域的科学决策显得十分重要。

遥感图像语义描述是从图像中提取信息，感知图像所蕴含的场景语义，并对图像中的内容进行描述的过程，是对遥感图像高层次的解析。在遥感场景理解领域，让计算机按照人类认知理解图像一样来认知图像，从遥感图像中自动提取信息，生成容易理解的文本描述受到了广泛研究。

图像描述的研究方法主要分为以下三个类别：基于模板、基于检索和基于深度学习的图像描述。基于模板的图像描述是基于固定的硬编码语句模板方法，根据图像中识别到的对象以及发现的对象关系来匹配句子模板，从而生成图像描述。基于检索的方法把训练集含有的图像和其对应的文本描述映射到同一向量空间，并计算两者之间的距离，然后根据距离排名得到和训练集中图像内容最接近的文本描述。上述两类方法限制了描述文本的多样性，不能生成可变长度、灵活性强的描述语句。

近年来卷积神经网络在图像上的应用，对于提取图片特征信息表现出的强大能力，以及循环神经网络在机器翻译领域发挥出的卓越效果，推动了神经网络在图像描述领域的发展。基于神经网络的图像描述，不依赖于任何模板、语法树或者有限的类别库，不需要制定任何的规则，它们自动地从海量的训练集中去学习图像和文本的信息，能够记忆各种各样的图像信息和其对应文本的对应关系，然后自动推断出测试图像和其相对应的文本，能够生成更灵活、更新颖的文本描述，而且还能够很好地描述从未见过的图像。

发明内容

针对现有技术，本发明提供一种基于多级特征融合的遥感图像语义描述方法，通过深度卷积神经网络训练分类和目标检测模型，在训练好的分类模型中，获取描述图像的多个单词，经过编码得到语义特征，在训练好的检测模型中，获取目标候选区域，得到视觉特征，将语义和视觉特征融合，共同作为图像自然语言生成模型(Transformer解码器)的输入，生成遥感图像的自然语言描述语句。

为了实现遥感图像的自然语言描述，本发明提出基于多级特征融合的遥感图像语义描述方法，采用的技术方案为：

一种基于多级特征融合的遥感图像语义描述方法，所述方法包括以下步骤：

步骤一、获取原始的高分辨率遥感影像，对获取的高分辨率遥感影像进行预处理，得到图像数据集，对于图像数据集中的每个图像，人工添加语义标注，用自然语言的形式描述图像内容，图像与语义标注共同构成遥感图像语义描述数据集；同时获取公开的遥感图像目标检测数据集；

步骤二、将构建的遥感图像语义描述数据集和公开的遥感图像目标检测数据集分别划分为训练集、验证集和测试集；