[发明专利]一种面向卫星在轨应用的遥感影像文本智能描述方法

权利要求书

1.一种面向卫星在轨应用的遥感影像文本智能描述方法，其特征在于，包括以下步骤：

S100、数据缩放裁剪：获取用于测试的遥感图像，并对遥感图像进行缩放裁剪；

S200、输入Encoder模型处理：导入训练好的模型参数，重用模型以保证其有效性，经过多层卷积神经网络后输出特征图；

S300、输入Decoder模型处理：在基于LSTM模型的Decoder模型中，通过LSTM模型实现图像的特征映射和词嵌入；

S400、生成文本描述：在注意力机制及强化学习中自临界序列训练法的约束下生成遥感图像语义文本描述结果；

S500、输出遥感图像文本描述结果；

所述注意力机制选用自下而上和自上而下相结合的注意力机制：自下而上的注意力机制用于获得一组具有显著性的图像区域，每个区域由汇集的卷积特征向量表示；自上而下的注意力机制使用基于任务的上下文来预测图像区域上的注意力分布，然后将附属特征向量计算为所有区域上的图像特征的加权平均，从而更好地提取出并使用特征图的特征信息；

所述自下而上的注意力机制，针对遥感图像的卷积神经网络，在提取特征图的特征信息过程中，具体表现为：

第一步、通过卷积核在图像上滑动，在每个空间位置预测出类别，对多种比例目标的边界框进行细化，并使用交并比阈值对每个对象类别执行非极大值抑制；

第二步、将提取出的显著区域合并进行批量处理，输入至卷积神经网络最后一层，并且将每个选择的区域的卷积特征与真实特征串联，馈送到定义类别属性的SoftMax层中，最终获得了更为精准的预选区域；

所述自上而下的视觉注意力机制具有两层的LSTM模型，第一层用于实现自上而下的注意力，第二层用于实现语言模型，且所述自上而下的视觉注意力机制遵循以下公式：

h_t＝LSTM(x_t，h_t-1)    (7)

式中，x_t和h_t分别是LSTM的输入向量和输出向量，h_t-1表示上一时刻LSTM的输出向量，则第一层LSTM模型公式如下：

α_t＝softmax(a_t)    (10)

式中，表示第一层LSTM的输入向量，根据LSTM模型、特征图向量和词嵌入计算得到，表示特征图的平均池化卷积特征值，W_e是词嵌入矩阵，Π_t是时间t内输入词的one-hot编码，a_i,t是特征图中的关注度权重，W_va、W_ha、分别表示学习参数，v_i表示第i个区域特征图的池化卷积特征值，α_t表示v_i对应注意力权重经SoftMax损失函数计算输出的值，表示第一层LSTM模型t时刻输入到第二层LSTM模型的池化卷积特征值，第一层的输出和图像特征共同组成了第二层的输出：

式中，表示t时刻第二层LSTM模型即语言生成模型LSTM模块的输入向量，表示t时刻第一层LSTM模型的输出向量，y_1:T指代单词序列(y₁,...,y_t)，p(y_t|y_1:t-1)指代每个时间步骤t可能输出的条件分布，p(y_1:T)指完整的条件分布，W_p和b_p分别是学习的权重和偏差。