[发明专利]一种基于目标检测的宽幅遥感描述生成方法

权利要求书

1.一种基于目标检测的宽幅遥感描述生成方法，其特征在于，包括以下步骤：

S1、利用Faster-RCNN对遥感图像进行目标检测，得到目标检测框的中心点的坐标和目标框的大小信息；

S2、根据步骤S1得到的目标检测框的中心点坐标对目标进行聚类分析，使用密度聚类得到聚类个数，然后再通过K-means得到聚类结果；

S3、采用基于聚类结果分割的方法，根据步骤S2得到的目标检测的聚类结果，以各个聚类中心点切割出1000×1000的图片作为待处理图片；

S4、采用随机分割的方法，在步骤S2得到的目标检测的其他区域，随机切割多个1000×1000的图片作为待处理图片；

S5、利用卷积神经网络提取步骤S3和步骤S4得到的待处理图片的卷积特征，得到待处理图片的局部特征；

S6、在每个时刻，通过注意力机制计算步骤S5得到的不同局部特征的标准化注意力权重，对局部区域加权得到加权局部特征；

S7、将步骤S6得到的加权局部特征，以及当前时刻输入的单词向量和前一个时刻的LSTM隐藏态作为LSTM单元的输入向量，获得当前时刻的隐藏态；

S8、基于步骤S7当前时刻的隐藏态，输入至softmax层得到当前时刻预测单词在整个词汇表上的概率分布；

S9、利用最大似然估计方法训练步骤S7和步骤S8得到的语言生成模型，得到语言生成模型中需要学习的参数；

S10、利用强化学习算法继续训练步骤S9得到的语言生成模型，得到在这一过程中的奖励回报，即CIDEr得分；

S11、在测试阶段仅保留语言生成模型，从生成起始符开始，由上一个时刻的隐藏态引导下一个时刻单词的生成，每个时刻生成一个单词，直到生成停止符，句子生成结束，若生成的句子与目标检测的不对应则进行语言后处理，得到用户需要的信息。

2.根据权利要求1所述的基于目标检测的宽幅遥感描述生成方法，其特征在于，步骤S2具体为：

S201、定义样本x_i和x_j的欧式距离，目标样本x_i到所有目标样本距离的平均值，目标样本x_i的方差、待聚类数据集的平均距离和准则函数；

S202、采用K-means聚类方法得到目标检测的聚类结果。

3.根据权利要求2所述的基于目标检测的宽幅遥感描述生成方法，其特征在于，步骤S202具体为：

S2021、从目标检测结果中任意选择k个对象作为初始聚类中心；

S2022、循环步骤S2023到S2024，直到准则函数收敛到设定阈值或前后获得聚类中心不再发生变化为止；

S2023、根据每个聚类中所有对象的均值计算样本集中每个对象与中心对象的欧几里得距离，根据最小距离重新划分相应对象；

S2024、计算每个聚类的均值。

4.根据权利要求1所述的基于目标检测的宽幅遥感描述生成方法，其特征在于，步骤S5中，采用ResNet101网络对遥感图像提取卷积特征，得到特征图；将特征图的形状重塑，接全连接层，对特征图进行处理得到降低维度的特征图，每个降低维度特征图的向量表示图像一个局部区域的特征。

5.根据权利要求1所述的基于目标检测的宽幅遥感描述生成方法，其特征在于，步骤S6具体为：

S601、根据LSTM单元前一时刻的隐藏态经过一个注意力模块产生对所有的局部区域特征的标准化的注意力权重；

S602、将步骤S601得到的注意力权重与局部区域特征进行加权，得到加权局部特征。

6.根据权利要求1所述的基于目标检测的宽幅遥感描述生成方法，其特征在于，步骤S7具体为：

S701、当前时刻输入的单词向量w_t通过词向量表示模型GloVe作为嵌入工具表示得到的；

S702、在每个时刻t，把当前时刻输入的单词向量w_t，利用注意力机制加权后的局部区域特征以及LSTM单元的前一时刻的隐藏态h_t-1作为当前时刻解码器模块的输入x_t，得到当前时刻的隐藏态输出h_t。