[发明专利]一种面向多模态数据的遥感图像分类方法

权利要求书

1.一种面向多模态数据的遥感图像分类方法，其特征在于：包括，

基于自步学习策略建立场景目标检测模型，并通过所述场景目标检测模型进行跨模态学习；

基于搜索策略和所述场景目标检测模型构建深度网络检测模型，通过所述深度网络检测模型对多模态信息进行处理；

基于所述深度网络检测模型与所述自步学习策略构建多任务学习模型，利用所述多任务学习模型对遥感图像进行分类。

2.如权利要求1所述的面向多模态数据的遥感图像分类方法，其特征在于：建立所述场景目标检测模型包括，

构建深度网络模型；

基于强化学习设计优化策略A，对所述深度网络模型进行优化；

基于所述自步学习策略设计优化策略B，对优化后的深度网络模型进行正则化处理，生成所述场景目标检测模型；

其中，所述深度网络模型由n个流构成，即为n个图像信息、n个音频信息和n个文本信息，每个流都由6个层组成，分别是1个输入层、4个中间层和1个输出层。

3.如权利要求2所述的面向多模态数据的遥感图像分类方法，其特征在于：所述优化策略A包括，

在数据生成阶段，利用Q网络与数据所在的网络环境进行交互；

通过所述深度网络模型观察当前数据网络层，并使用ε-贪心算法进行检测和优化；

在训练阶段，所述深度网络模型会利用存储在重放记忆M中的数据来对网络进行训练，更新模型参数。

4.如权利要求2或3所述的面向多模态数据的遥感图像分类方法，其特征在于：所述优化策略B包括，

定义目标函数如下：

通过目标函数对所述优化后的深度网络模型进行所述正则化处理，使所述优化后的深度网络模型稀疏，进而获得所述场景目标检测模型；

其中，x_i,y_i∈R^m为双时相遥感图像中的对应像素，m为频带数，n为像素总数，x和y是融入专家知识后的筛选后的像素区域，ω为权值，T为矩阵的转置，i为像素区域的横坐标，j为像素区域的纵坐标。

5.如权利要求4所述的面向多模态数据的遥感图像分类方法，其特征在于：构建所述深度网络检测模型包括，

通过设计深度网络检测模型的强化学习机制和优化策略，训练场景目标检测模型的参数；

设计深度网络检测模型特征的降维算法，以求取卷积后的高层特征v的投影矩阵。

6.如权利要求5所述的面向多模态数据的遥感图像分类方法，其特征在于：所述强化学习机制和优化策略包括，

定义y为深度网络检测模型检测到的窗口，窗口y的数据分布p(y)如下式：

根据下式固定所述深度网络检测模型被降解的底层分布，使得所述窗口y的数据分布p(v)达到最优：

逐层训练深度网络检测模型的模型参数，获得概率分布如下：

其中，x为继续贝叶斯降解后的低层特征，q(x)为图像信息、音频信息和文本信息上的经验分布，p(y|v)为深度网络检测模型被降解的底层分布，p(v)为深度网络检测模型被降解高层的分布；p(s|v)为卷积后的高层特征分布；s为层数，yvisi代表p(y|v，s)，α代表映射关系，i表示具体的层数，k,j∈n且k≠j，k和j表示n层中随机两层之间的关系，表示层sⁱ⁺¹和sⁱ之间的相关性，是投票函数和其他部分之间的相关性的权值，和表示偏置项。

7.如权利要求5或6所述的面向多模态数据的遥感图像分类方法，其特征在于：所述降维算法包括，

利用同类样本的稀疏表示构造图，通过所述构造图描述样本间的稀疏重构关系；

基于所述稀疏重构关系，利用非参数离差矩阵来提取类间鉴别信息；

通过求解广义特征值问题求得所述卷积后的高层特征v的投影矩阵。