[发明专利]一种基于多模态特征融合的遥感影像分类方法

摘要

本发明涉及一种基于多模态特征融合的遥感影像分类方法，属于遥感影像分类技术领域。本发明首先至少提取两个模态的特征；然后将得到的各个模态的特征均输入到RBM模型中进行融合，得到各模态特征的联合表达；最后根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类。本发明通过融合多种模式特征，即将浅层模态特征和深层模态特征均通过RBM模型进行融合以得到相应的联合表达，该联合表达即包含了遥感影像深层模态特征的层节表达，又包含了浅层模态特征的外部可视相似度，具有非常高的区分能力，提高了遥感影像的分类精度。

主权项

1.一种基于多模态特征融合的遥感影像分类方法，其特征在于，该分类方法的步骤如下：1)将原始遥感影像中具有相似颜色、纹理的邻近像素聚合在一起，对遥感影像进行超像素分割，得到超像素区域；2)至少提取两个模态的特征；3)将得到的各个模态的特征融合后输入到RBM模型中进行学习，得到各模态特征的联合表达；4)根据得到联合表达对每一个超像素区域进行类型估计，从而实现对遥感影像的分类；所述步骤2)中的至少两个模态的特征包括浅层模态特征和深层模态特征，其中浅层模态特征为从遥感影像中提取出的SIFT特征，颜色直方图特征和CENRIST特征，深层模态特征为采用卷积神经网络从遥感影像中提取出的特征；所述浅层模态特征和深层模态特征在输入到RBM模型进行学习之前均需通过对应的DBN模型进行处理，以分别得到浅层模态的高层特征和深层模态的高层特征，输入到DBN模型进行处理的深层模态特征为深层模态中的中层特征；输入到DBN模型进行处理的浅层模态特征为浅层模态中的中层特征。