[发明专利]一种基于多模态特征融合的遥感影像分类方法

说明书

本发明涉及一种基于多模态特征融合的遥感影像分类方法，属于遥感影像分类技术领域。本发明首先至少提取两个模态的特征；然后将得到的各个模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表达；最后根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。本发明通过融合多种模式特征，即将浅层模态特征和深层模态特征均通过RBM模型进行融合以得到相应的联合表达，该联合表达即包含了遥感影像深层模态特征的层节表达，又包含了浅层模态特征的外部可视相似度，具有非常高的区分能力，提高了遥感影像的分类精度。

技术领域

本发明涉及一种基于多模态特征融合的遥感影像分类方法，属于遥感影像分类技术领域。

背景技术

遥感影像技术的进步使得地理空间信息在数量和质量上得到爆炸式的增长，研究如何自动分析理解图像内容、获取有价值的信息是十分必要的，而其中最基础的工作就是遥感影像的分类。当前的高分辨率遥感影像具有丰富的视觉信息来描述地球表面，这些图像的使用可以使我们确定图像类别，如建筑物、道路、农场、森林、河流等等。环境以及社会经济研究都必须基于遥感影像分类结果，因此许多学者研究了不同的图像特征和分类技术，并取得了很好的结果。

然而，由于遥感影像的复杂性和多样性，提高图像分类精度仍然是项充满挑战的工作。每张图像上的特征提取基本上依赖于要被识别的图像，描述图像的一般特征包括纹理、颜色、空间关系和结构特征等。现有的分类方法大都是通过密集提取浅层特征，如SIFT特征描述符，使用稀疏编码的方式对描述符进行量化，编码的特征包含特征图，通过BOW模型或者空间金字塔进行池化。

卷积神经网络(CNNS)作为有效的深度学习模型，在图像分类领域具有明显的优势，这种深度结构使得其具有学习深度特征的能力，这种鲁棒性的训练算法能够更好的对图像物体进行表达，并且无需手动设计特征，已经被应用到图像集的分类中。例如文献7(Rich feature hierarchies for accurate object detection and semanticsegmentation)公开了采用CNNS提取适应长度的特征向量，然后使用特定的线性分类其SVM对每个区域进行分类的方法。文献8(Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition)公开了一种通过引入了空间金字塔池化(SPP)层移除CNNS中适当尺寸的限制，SPP层对特征进行池化产生相应长度的输出，作为连接层的输入。图像分类结果表明CNNS产生的深度特征具有更强的分类能力，并且逐渐取代浅层和手动设计的特征，例如SIFT、GIST等。虽然采用深度特征进行分类精度比较浅层特征高，但是深度特征缺少浅层特征包含的信息，其分类的结果无法全面表达图像的信息。

发明内容

本发明的目的是提供一种基于多模态特征融合的遥感影像分类方法，以提高遥感影像分类的精度。

本发明为解决上述技术问题提供了一种基于多模态特征融合的遥感影像分类方法，该分类方法的步骤如下：

1)将原始遥感影像中具有相似颜色、纹理的邻近像素聚合在一起，对遥感影像进行超像素分割，得到超像素区域；

2)至少提取两个模态的特征；

3)将得到的各个模态的特征融合后输入到RBM模型中进行学习，得到各模态特征的联合表达；

4)根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。

所述步骤2)中的至少两个模态的特征包括浅层模态特征和深层模态特征，其中浅层模态特征为从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征，深层模态特征为采用卷积神经网络从遥感影像中提取出的特征。

所述浅层模态特征和深层模态特征在输入到RBM模型进行学习之前均需通过对应的DBN模型进行处理，以分别得到浅层模态的高层特征和深层模态的高层特征。