[发明专利]一种基于多模态神经网络的高分遥感图像语义理解方法

说明书

本发明公开了一种基于多模态神经网络的高分遥感图像语义理解方法，主要解决了目前高分遥感图像的分析并未从高层语义上对遥感图像进行理解的问题。其实现步骤是：1)构建高分遥感图像‑文本描述数据库；2)采用预训练好的卷积神经网络提取高分遥感图像‑文本描述数据库中所有图像的视觉特征；3)根据高分遥感图像‑文本描述数据库的所有文本描述语句中的单词创建词汇文本库；4)训练深度多模态神经网络；输入高分遥感图像，利用训练好的深度多模态神经网络生成高分遥感图像对应的文本描述。

技术领域

本发明属于信息处理技术领域，特别涉及一种图像理解技术，可用于灾害监测、军事侦察和地理国情勘察等方面。

背景技术

随着我国航天技术的发展，越来越多的高分卫星被发射到太空中，遥感图像的获取变得更加容易，并且遥感图像的分辨率也在不断提高，其包含的有效信息也变得越来越丰富。因此，高空间分辨率遥感图像在道路规划、军事侦察、灾情监测等方面将会发挥巨大的作用。为了合理利用这些数据，充分考虑图像的视觉信息和语义信息，高分遥感图像的语义理解是一个非常重要的研究方向。

然而，目前高空间分辨率(以下简称高分)遥感图像的研究工作主要集中在以下四个方面：

(1)目标检测：自动检测出高分图片中一些感兴趣的目标，如飞机、储油罐等；

(2)图像分类：通过分析图片中各种地物类型的纹理和空间信息，将图片中的每个像素分配到不同的类别中；

(3)图像分割：将高分图像分割成语义连续(有相同的性质、表示不同地物类别)的区域；

(4)场景分类：识别每张高分图片所包含的场景，如机场、港口等，得到每张图片的场景类别标签。

上述的这些工作往往只能检测出图像中包含某种目标或者获得图像各像素或整个图像的类别标签，并不能详细的指出图片中目标的属性、特征以及目标之间相互的关系，这样就没有完全的在语义层面理解目标。另外，一幅图像视觉信息可以大致的反映该图片的主要内容，而相应的文本信息则可以更加细致的描述图像的信息。

目前结合图像视觉信息和文本信息的图像语义理解的工作主要集中在自然图像领域，大概可以分为以下几类：

一是基于图片-文本嵌入结构的方法，该方法首先采用预训练好的卷积神经网络模型提取图像的特征向量，随后将图片对应的描述文本通过一个预训练好的语言模型映射到与图像特征相同的特征空间里，随后通过计算这两种特征向量的相似性来找到图像与文本之间的关系，最终，通过学习到的映射关系为新的测试图片生成文字描述。具体方法参见参考文“R Kiros,R Salakhutdinov,and S Zemel,Unifying Visual-SemanticEmbeddings with Multimodal Neural Language Models,arXiv preprint arXiv:1411.2539,2014”。

二是基于目标检测的方法，该方法首先为每个目标以及描述目标之间相互关系的词语分别训练出一个探测器，随后采用这些训练好的探测器来探测图片，从而得到若干个词语，然后将这些词语通过一个语言模型组成若干个句子，最后对得到的这些句子与图片的相似性打分排序，选择排序最高的句子作为最终结果。具体方法参见参考文献“H Fang,SGupta,F Iandola,et al.,From Captions to Visual Concepts and Back,in Proc.IEEEConference on Computer Vision and Pattern Recognition,pages:1473-1482,2015”。