[发明专利]基于注意力机制和深度学习的遥感图像自然语言生成方法

说明书

本发明公开一种基于注意力机制和深度学习的遥感图像自然语言生成方法，该方法包括以下步骤：步骤一、预处理遥感图像和对应的自然语言描述。步骤二、将降噪后的遥感图像输入到密集定位卷积神经网络(Intensive Positioning Convolution Neural Network，简称IPCNN)中。步骤三、将步骤二获得的区域块输入到重分配长短期记忆网络(Reassignment Long‑Short Term Memory，简称RLSTM)中。进入到RLSTM的权重分配层中，利用多层网络函数分别求得每个区域的权重，最后通过RLSTM的深度输出层实现自然语言描述的整体输出。步骤四、将步骤三中生成的自然语言描述输入遥感图像语言描述打分模型，得到句子的打分。步骤五、将目标位置、类别标签和自然语言描述得分输入到数据库中，等待调用。

技术领域

本发明涉及注意力机制，深度学习，遥感图像自然语言生成。

背景技术

近年来，航天技术作为获取信息的核心技术发展十分迅速，卫星遥感技术作为其中一个重要分支不仅在分辨率上有了较大的提高，而且已经逐步具备了全天时、全天候、实时传输的能力。高分辨率遥感图像作为信息的有效载体，扩宽了人眼的视野范围，提高了目标观察精度，在资源勘探、环境监测、自然灾害预防等方面发挥着非常重要的作用。

在日益增长的遥感应用需求下，如何方便、快捷地获取遥感图像中的信息是一个重要研究方向。尤其是没有相关背景知识的一般用户需要一种更易于使用的系统去使用遥感数据。因而，由遥感图像自动生成人可理解的自然语言描述受到了学术界的广泛关注。

大部分遥感图像工作都是关于遥感图像分类、目标检测和场景分类等。遥感图像自然语言描述与上述这些任务的区别在于它的目标是产生全面的句子而不是预测单个标签或单词。目前在这方面，国内几乎没有成型的框架，国外也只是刚刚起步

现在的遥感图像自然语言描述主要由两部分组成。第一部分，遥感图像的多目标检测。首先用区域提取技术从原图中提取候选区域块，然后利用分类器将候选区域块分类。在候选区域块分类阶段使用深度特征作为分类器的输入，一般使用卷积神经网络(Convolutional Neural Network，简称CNN)提取深度特征。第二部分，把标签信息处理成自然语言。主要是采用经典范式框架，这个模型是基于模板的方法设计的，将特征填充到特定的句式框架中，句式框架可以使用预定义模板，可以轻松设计新的模板。

当前遥感图像自然语言描述方法具有一定的局限性：(1)遥感图片一般像素大，目标占比小。在卷积神经网络的训练阶段，一般的解决模式都是直接把原图及其标注信息输入网络，从而导致网络忽略很多背景信息、只关注于目标特征信息的标签。(2)由于传统的自然语言处理采用的是经典范式框架，这种框架是基于模板的方法设计的，具有语言限制。给出的描述模式化，并不灵活和人性化，并且有很多信息在模式化中被省略，造成了信息的流失。

近年来，随着深度学习的兴起，基于注意力机制的神经网络成为了最近神经网络研究的一个热点。注意力机制是一种策略，最早是在视觉图像领域提出来的。注意力机制的思想是提高有用信息的权重，从而让任务处理系统更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量。从应用层面上来说，注意力机制分为空间注意力机制和时间注意力机制。

本发明基于空间注意力机制提出了密集定位层，这个密集定位层可以预测图片中含有重要信息的区域，并围绕这些区域输出多个区域描述块。本发明把密集定位层加入卷积神经网络形成了新的目标检测框架：密集定位卷积神经网络(Intensive PositioningConvolutionNeural Network，简称IPCNN)。同时本发明基于时间注意力机制提出了权重分配层，这个权重分配层可以对特征信息的权重进行重新分配，加强重要信息的权重。本发明把权重分配层加入循环神经网络形成了新的语言框架：重分配长短期记忆网络(Reassignment Long-Short Term Memory，简称RLSTM)。