[发明专利]一种面向卫星在轨应用的遥感影像文本智能描述方法

说明书

本发明公开了一种面向卫星在轨应用的遥感影像文本智能描述方法，包括以下步骤：S100、数据缩放裁剪：获取用于测试的遥感图像，并对遥感图像进行缩放裁剪；S200、输入Encoder模型处理：导入训练好的模型参数，重用模型以保证其有效性，经过多层卷积神经网络后输出特征图；S300、输入Decoder模型处理：在基于LSTM模型的Decoder模型中，通过LSTM模型实现图像的特征映射和词嵌入；S400、生成文本描述：在注意力机制及强化学习中自临界序列训练法的约束下生成遥感图像语义文本描述结果；S500、输出遥感图像文本描述结果。本发明引入残差网络结构、两层LSTM模型、自下而上和自上而下相结合的注意力机制及强化学习中自临界序列训练方法，针对遥感图像可迅速准确生成文本语义描述。

技术领域

本发明属于遥感技术领域，具体涉及一种面向卫星在轨应用的遥感影像文本智能描述方法。

背景技术

遥感技术的飞速发展为地球表面信息获取提供了大量的数据积累，同时促进了以此为基础的遥感图像分析与处理、高分辨率数据集的建立、空间数据分析以及网络共享等相关技术的快速进步。此前，针对高分辨率遥感图像解译领域的处理方法基本完成了从面向像元分类到面向对象分类方法的转变，但解译层次尚停留在地物类别层，没有对场景进行推理和理解，无法解决分类结果和高层场景语义之间的“语义鸿沟”问题。因此，如何针对大量数据，从不同层次、不同角度对高分辨率遥感图像进行智能化解译已成为遥感领域最具挑战性的科学前沿之一。

随着深度学习中神经网络和自然语言处理理论和技术的不断成熟，对于多模态、时序性目标的处理提供了新思路，尤其是最近几年image caption(图像描述)技术的日益完善，在自然场景领域取得了比传统方式更理想的结果。因此，深度学习作为可能跨越低层语义和高层语义之间“语义鸿沟”的重要技术，成为解决该问题的首选方法之一。

发明内容

本发明的目的在于避免现有技术中的不足而提供一种面向卫星在轨应用的遥感影像文本智能描述方法，能够在不额外输入文本信息的情况下，针对遥感影像中的典型目标，快速准确地生成目标和场景之间的文本语义描述。

本发明的目的通过以下技术方案实现：提供一种面向卫星在轨应用的遥感影像文本智能描述方法，包括以下步骤：

S100、数据缩放裁剪：获取用于测试的遥感图像，并对遥感图像进行缩放裁剪；

S200、输入Encoder模型处理：导入训练好的模型参数，重用模型以保证其有效性，经过多层卷积神经网络后输出特征图；

S300、输入Decoder模型处理：在基于LSTM模型的Decoder模型中，通过LSTM模型实现图像的特征映射和词嵌入；

S400、生成文本描述：在注意力机制及强化学习中自临界序列训练法的约束下生成遥感图像语义文本描述结果；

S500、输出遥感图像文本描述结果。

作为进一步的改进，所述步骤S200中模型参数的训练过程如下：

S201、数据预处理：输入遥感图像训练数据集并进行缩放，将训练数据集中每幅图像对应的多个文本描述标签转化为序列号，且将该序列号与图像建立映射关系，完成图像和序列的匹配；

S202、构建Encoder模型：所述Encoder模型以VGG网络为框架，加入残差网络结构优化模型性能，通过加载预训练的VGG网络，并通过定义函数实现网络的重用，将VGG网络的输出作为原始图片的特征图表示；

S203、构建Decoder模型：以LSTM模型为基础，在初始化权重、定义超参数和输出占位符后，经过LSTM模型的遗忘阶段、选择记忆阶段和输出阶段，实现词嵌入与特征映射；

S204、模型训练：引入注意力机制，并通过强化学习中自临界序列训练法进行优化训练，促使参数向期望值收敛；