[发明专利]多模态多粒度遥感影像面向对象全自动机器学习方法及系统

说明书

本发明公开了一种多模态多粒度遥感影像面向对象自动机器学习方法及系统，将初始的云样本数据，依次通过光谱‑纹理‑形状特征、地理信息特征、时间变化特征及尺度特征四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予对应的代号标签。按照适当的比例分层抽样划分训练、验证和测试样本集后，对各类样本进行扩充后，针对不同样本组的特征选择合适的机器学习方法进行模型训练及调优，将所有训练好的分类器模型集成为分类模型库，再输入测试样本集，根据尺度和特征自动优选模型进行分流预测，将预测结果依据初始样本集标签规则归类合并，最后再进行精度验证及评价。

技术领域

本发明属于遥感与地理国情监测技术领域，涉及一种云控制下多模态多粒度遥感影像面向对象全自动机器学习方法及系统，具体涉及一种多模态多粒度遥感影像的面向对象提取、划分、及其集多种机器学习（非监督聚类、监督的随机森林和深度学习）为一体的全自动机器学习训练与预测方法及系统。

背景技术

遥感影像解译通常包括面向像素的分类和面向对象（图斑）的分类两大类，而基于已标注样本集的监督分类则是目前使用较为广泛的方法。遥感影像监督分类往往需要准备准确和充足的训练、验证样本，样本的质量对于分类器的训练和最终预测起着关键作用，因此样本自动提取和优选是遥感影像分类及其预处理领域的重要研究课题。然而，遥感影像分类样本自动选择和模型训练仍然存在许多问题：

1）模态问题：遥感影像样本选择及分类往往可能因光谱形状相似，尺度差异较大，影像外部样本特征未充分利用，传感器或获取时间不同产生的影像差异等多种模态问题，导致同类样本差异较大，质量低，进而导致分类精度低；

2）粒度问题：遥感影像样本的分类级别粗，样本粒度单一化机械化，往往不能满足实际需求，导致同类样本内部差异大，质量低，进而影响分类精度；

3）自动化问题：遥感影像样本选择及分类仍然需要大量人为干预，主观性强，自动化程度低，从而耗费大量人力物力。

当前已有部分研究和专利技术对上述问题进行了分析与研究：

1）已有一种基于多模态表征的细粒度图像分类技术，但该技术主要结合图像外（基于百度词库的文本信息）辅助视觉信息对于图像及其语义标签进行细粒度分类，且不是针对遥感影像的技术（文献1）。

2）已有一种基于多尺度和多时相的遥感影像分类方法是在人为给定的三个分割尺度下，根据影像光谱等特征、时相特征等，基于大量先验知识人为给出预分类标签并建立决策树分类系统，对影像预测分类，主观性强，且其样本选择、尺度划分以及矢量化等未体现自动化，其未使用大数据样本集，并采用浅层学习进行分类（文献2）。

3）已有一种基于多粒度的遥感数据处理方法强调通过一次粒粗粒筛选，二次粒细粒筛选，不断迭代，获取归类信息，旨在提取剩余的有价值的特征信息（文献3），本质上是人工设计并提取特征，而当前深度学习可以自动学习更好更深层次的特征。

4）已有一种基于多模态的深度学习遥感影像分类方法则重点在深度学习模型上的优化，通过提取多模态分级特征，构建这种特征关联共享，但其专注模型本身，没有考虑大数据样本的质量（文献4）。

文献1：漆桂林,徐华鹏,徐康. 基于多模态表征的细粒度图像分类方法[P]. 江苏省：CN109002834A,2018-12-14.

文献2：张宁, 吴炳方, 周月敏等. 面向对象的多尺度与多时相遥感影像自动分类方法[C]. 2008海峡两岸遥感大会. 中科院遥感应用研究所, 2008.

文献3：顾沈明,吴伟志,吴远红. 一种多粒度的遥感数据处理方法[P]. 浙江省：CN109543612A,2019-03-29.

文献4：黄冬梅,杜艳玲,贺琪,宋巍,石少华,苏诚. 一种基于多模态深度学习的遥感影像分类方法[P]. 上海市：CN105930877B,2020-07-10。