[发明专利]一种基于目标检测的宽幅遥感描述生成方法

说明书

本发明公开了一种基于目标检测的宽幅遥感描述生成方法，首先获取遥感图像；构建训练样本集与测试样本集，并对该两个样本集进行归一化；使用Faster‑RCNN网络模型对遥感图像进行处理，得到相应的目标；使用K‑means聚类算法对目标进行聚类；根据得到的聚类中心对宽幅遥感图像进行分割；其他没有用到的区域进行随机分割；使用ResNet101网络模型对分割的图片进行处理；使用LSTM得到相应的图片描述；再次检测目标检测的结果是否在描述中，从而得到最后的结果。本发明通过基于目标检测的宽幅遥感图像描述方法，提高了描述的准确性，可以更好的得到用户想要的信息。

技术领域

本发明属于遥感图像描述生成技术领域，具体涉及一种基于目标检测的宽幅遥感描述生成方法。

背景技术

现代航天遥感技术随着卫星技术的发展，对地观测能力大幅提升，通过获取到的遥感数据，可以在军用和民用上都发挥重要的作用。为了更加充分利用这些遥感数据并且减少人力物力的耗费，设计网络自动地理解遥感图像并且在语义层面上将遥感图像的内容准确流畅地描述出来成为一个十分有意义的工作。然而在高分辨遥感领域主要的关注点还是集中在目标检测，地物分类，语义分割等方面，这些研究可以识别图片中的物体但无法给出图片中物体之间的关系，而遥感图像描述自动生成的句子可以大体反映图片内容并且给出更多的对象关系等细节信息。

在自然图像描述生成的方法中，基于神经网络的方法是目前最主流的方法，这种方法大多数基于编码器-解码器的模型框架，编码器一般是一个CNN网络用于提取图片特征，解码器是一个循环神经网络(RNN或LSTM)，它将图片特征作为输入产生图片的句子描述。受启发于自然图像领域描述生成的发展，遥感图像的描述生成也借鉴了自然图像中的方法提高生成句子的准确性和流畅度。

遥感图像是采取自上而下的拍摄方式捕捉的地面物体的图像，对象的不同层次的信息会非常丰富。而且在采集遥感图像过程中容易受到光照、遮挡、距离等周围环境的影响，会造成目标遥感图像特征模糊，这使得遥感图像的语义层次的理解变得更加困难。针对遥感图像描述生成的难点，在使用语言模型之前首先使用目标检测得到所想要得到的关键信息然后再使用语言模型，生成更加流畅且符合图片内容的描述。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于目标检测的宽幅遥感描述生成方法，通过目标检测得到先验信息，再通过卷积神经网络得到图像特征最后通过语言模型生成符合用户要求的语言描述。

本发明采用以下技术方案：

一种基于目标检测的宽幅遥感描述生成方法，包括以下步骤：

S1、利用Faster-RCNN对遥感图像进行目标检测，得到目标检测框的中心点的坐标和目标框的大小信息；

S2、根据目标检测的中心点坐标对目标进行聚类分析，使用密度聚类得到聚类个数，然后再通过K-means得到聚类结果；

S3、采用基于聚类结果分割的方法，根据目标检测的聚类结果，以各个聚类中心点切割出1000×1000的图片作为待处理图片；

S4、采用随机分割的方法，在目标检测的其他区域，随机切割多个1000×1000的图片作为待处理图片；

S5、利用卷积神经网络提取遥感图片的卷积特征，得到遥感图像的局部特征；

S6、在每个时刻，通过注意力机制计算不同局部特征的标准化注意力权重，对局部区域加权得到加权局部特征；

S7、将步骤S6得到的加权局部特征，以及当前时刻输入的单词向量和前一个时刻的LSTM隐藏态作为LSTM单元的输入向量，获得当前时刻的隐藏态；

S8、基于当前的隐藏态，输入至softmax层得到当前时刻预测单词在整个词汇表上的概率分布；