[发明专利]一种多模型综合的遥感影像场景描述方法

说明书

一种多模型综合的遥感影像场景描述方法：构建由目标检测样本集、地物分割样本集、目标识别样本集和语义描述样本集构成的遥感影像场景描述样本库；对深度学习目标检测模型、深度学习地物分类模型和深度学习目标分类模型进行训练，并进行目标检测识别和地物分类，生成结构化信息；将循环神经网络结构构成自然语言描述模型中的自然语言描述部分，将卷积神经网络构成自然语言描述模型中的图像处理部分，利用语义描述样本集对自然语言描述模型进行训练，获得遥感影像的场景语义描述；将结构化信息通过核心词语匹配和目标位置信息补充的方式嵌入到遥感影像的场景语义描述中，获得具备定性和定量描述能力的场景描述结果。本发明具有好的实际应用和描述准确性。

技术领域

本发明涉及一种遥感影像场景描述技术。特别是涉及一种多模型综合的遥感影像场景描述方法。

背景技术

在遥感影像目标检测领域中可以进行场景理解的方法主要有如下几种，但它们在准确性和全面性上均存在某些缺陷：

(1)基于中层特征的场景分类方法，如词袋模型、空间金字塔匹配模型、局部约束线性编码模型、主题模型、特征编码模型等方法。基于中层特征的场景分类方法旨在通过人工提取底层特征构建特征字典，并利用特征编码方法实现场景语义描述。但是该类方法没有跨越从图像到自然语言的鸿沟，且缺乏理论框架，难以实现特征自动提取、任务端到端完成。

(2)基于深度卷积神经网络的方法，在充分学习目标局部特征的基础上，一定程度上考虑了全局特征，且可以形成简单词语的语义描述。但是该方法无法直接形成一句话的自然语言描述，且对于全局的数量、位置等信息无法感知获得。

(3)基于深度卷积神经网络结合循环神经网络的方法，深度卷积神经网络用于感知遥感区域场景目标，循环神经网络用于根据目标识别结果形成自然语言描述。该类方法可以形成对遥感影像场景内的自然语言描述，但是无法准确获得地物环境、目标数量和位置关系等信息，对于某些使用场景很难直接使用。

发明内容

本发明所要解决的技术问题是，提供一种具有描述准确、性能稳定、场景要素覆盖高等特点的多模型综合的遥感影像场景描述方法。

本发明所采用的技术方案是：一种多模型综合的遥感影像场景描述方法，包括以下步骤：

1)构建遥感影像场景描述样本库，包括目标检测样本集、地物分割样本集、目标识别样本集和语义描述样本集；

2)分别对深度学习目标检测模型、深度学习地物分类模型和深度学习目标分类模型进行训练，并利用训练好的模型进行目标检测识别和地物分类，生成结构化信息；

3)建立基于遥感场景影像和标注的自然语言描述模型，使用循环神经网络结构构成自然语言描述模型中的自然语言描述部分，使用卷积神经网络构成自然语言描述模型中的图像处理部分，利用语义描述样本集对自然语言描述模型进行训练，并利用训练好的自然语言描述模型获得遥感影像的场景语义描述；

4)将步骤2)中获得的结构化信息通过核心词语匹配和目标位置信息补充的方式嵌入到步骤3)中获得的遥感影像的场景语义描述中，从而获得具备定性和定量描述能力的场景描述结果。

本发明的一种多模型综合的遥感影像场景描述方法，克服了现有方法中场景描述简单、无法形成完整自然语言描述，场景描述缺乏定量信息和环境信息等问题，改善了遥感影像场景描述的性能；具有较好的实际应用和描述准确全面的性能，能够满足遥感影像智能解译、场景理解、场景描述的应用要求。本发明可用于遥感影像智能解译、遥感影像场景理解、对地侦察、精确打击、区域执法等应用场景。

附图说明

图1是本发明一种多模型综合的遥感影像场景描述方法的流程图；

图2是本发明中样本集构建示意图；

图3是本发明中自然语言描述模型示意图；