[发明专利]基于检索话题记忆网络的遥感图像描述方法

摘要

本发明提供了一种基于检索话题记忆网络的遥感图像描述方法，其目的是为了解决现有的遥感图像描述方法无法解决数据库当中存在的标注偏差、确定性信息无约束的问题。该方法包括以下步骤：1)选取高分图像‑文本数据库；2)对高分图像‑文本数据库中标注文本进行话题提取：3)利用深度神经网络ResNet对高分图像‑文本数据库当中的原始遥感图像提取图像特征；4)对原始遥感图像对应的标注文本进行标注文本表达；5)利用话题表达，图像特征和标注文本表达来训练话题记忆网络；6)将任意一张原始遥感图像输入至训练完成的话题记忆网络模型，模型会输出描述文本。

主权项

1.一种基于检索话题记忆网络的遥感图像描述方法，其特征在于，包括以下步骤：1)选取高分图像‑文本数据库；2)对高分图像‑文本数据库中标注文本进行话题提取；2.1)利用词性筛选的方式提取语义话题；利用标准本文中单词词性不同，按照名词，动词，形容词的排列顺序，取前五个单词作为语义话题；2.2)利用计算词频‑逆文档频率指数的方式提取统计话题；2.2.1)计算高分图像‑文本数据库中标注文本的词频‑逆文档频率指数；2.2.2)对计算出的所有词频‑逆文档频率指数的进行从大到小的排序，选择前五个单词抽取出来作为统计话题；2.3)将步骤2.1)提取的语义话题和步骤2.2)提取的统计话题进行话题表达；2.3.1)利用高分图像‑文本数据库中所有的标注文本构成原始字典；2.3.2)在原始字典上添加描述文本的开始标志START和结束标志END，得到一个长度为c+2的实际表达字典；2.3.3)基于语义话题和统计话题对应的单词所在实际表达字典中的位置信息，使用one‑hot向量进行话题表达；3)利用深度神经网络ResNet对高分图像‑文本数据库当中的原始遥感图像提取图像特征；3.1)给定原始遥感图像，提取ResNet‑101的pool5特征I^p5，维度是2048；3.2)对步骤3.1)中的原始遥感图像再次提取ResNet‑101的pool5层前的卷积特征I^conv，维度是2048×7×7；3.3)将步骤3.2)提取到的特征I^conv经过reshape之后变换为2048×49的特征，将变换后的特征和步骤3.1)提取的特征I^p5拼接在一起，构成原始遥感图像的图像特征I^all，维度是2048×50；4)对原始遥感图像对应的标注文本进行标注文本表达；利用步骤2.3.2)中生成的实际表达字典，对标注文本中的每个单词进行one‑hot向量表达，实现标注文本表达；5)利用话题表达，图像特征和标注文本表达来训练话题记忆网络；5.1)构建话题记忆网络模型；所述话题记忆网络模型包括输入模块、中间模块以及输出模块；步骤5.1.1)创建输入模块；输入模块包括图像记忆单元和话题记忆单元；图像记忆单元包含一个矩阵，该矩阵大小为1024×50，存储的内容为I^all经过全连接层之后降维到1024×50；话题记忆单元包含一个矩阵，该矩阵大小为1024×10，存储的是所述步骤2.3.3)所得到的话题表达经过两个全连接层降维到1024×10；步骤5.1.2)创建输出模块；输出模块包括临时记忆单元；临时记忆单元包含一个大小为1024×25的矩阵，存储的内容是在预测当前单词的时候前一个单词的预测输出经过全连接层到1024的向量，其中25代表生成标注文本的最长长度；步骤5.1.3)创建中间模块；图像记忆单元、话题记忆单元以及临时记忆单元经过独立卷积之后最大池化得到输出，从而中间模块建立完成；其中，卷积核大小为3×1，步长为1，通道数为300，最大池化的方向是通道方向，输出结果是300×1；整体输出为300×3；5.2)将步骤2.3)得到的话题表达和3)得到的图像特征作为输入模块的输入，步骤4)得到的标注文本表达作为输出模块的输出，训练话题记忆网络模型的参数；步骤5.2.1)图像记忆单元存储步骤3)提取的图像特征I^all经过全连接层之后降维到1024×50；步骤5.2.2)话题记忆单元存储步骤2.3)得到的话题表达经过两个全连接层降维到1024×10；步骤5.2.3)临时记忆单元存储一个文本开始输出的标志START；步骤5.2.4)用步骤4)中的one‑hot表达方式表达START，然后经过两个全连接层降维到1024；再通过和步骤5.1.1)中的图像记忆单元、话题记忆单元以及临时记忆单元当中的等长的向量内积计算权重；然后权重乘图像记忆单元、话题记忆单元以及临时记忆单元当中的内容当作步骤5.1.2)的输入，得到输出为300×3，经过reshape操作和全连接层得到预测的当前单词；所述全连接层的神经元个数为实际表达字典的长度；步骤5.2.5)将得到的当前单词经过映射放入临时记忆单元，同时代替步骤5.2.3)的START作为输入，来预测下一个单词；步骤5.2.6)重复步骤5.2.1)至步骤5.2.5)利用标注文本中的单词依次作为监督信息进行训练，每次输出存储到临时记忆单元直到遇到终止的标志END；6)将任意一张原始遥感图像输入至训练完成的话题记忆网络模型，模型会输出描述文本。