[发明专利]一种基于关键词的大坝缺陷图像描述文本生成方法

权利要求书

1.一种基于关键词的大坝缺陷图像描述文本生成方法，其特征在于，包括如下步骤：

(1)将分解机模型与RNN编码器相结合，计算各个时刻输入的不同缺陷关键词和两两关键词组合的隐藏状态；

(2)将编码器语义向量通过注意力机制为输入的缺陷关键词分配权重，控制缺陷描述文本语义；

(3)采用LSTM解码器进行文本预测，通过输入门、遗忘门和输出门来控制隐藏状态中信息的流动，减少传统循环神经网络梯度消失或梯度爆炸的现象；

所述步骤(1)中将分解机模型与RNN编码器相结合的具体步骤如下：

(1.1)隐藏状态计算：定义时间步长为n-1的关键词输入集合为X_T(X₁,X₂,…,X_n-1)，当前时刻输入为X_t，H_t是该时间步的隐藏变量：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h)，

其中，W_xh为X_t的输入参数，W_hh为隐藏层参数，b_h为隐藏层偏差参数，h为隐藏单元个数，为了使得前向时间步的序列对后向序列产生影响，隐藏变量H_t将联合X_t+1作为下一个时间步的输入，依次循环下去；

(1.2)分解机语义隐藏状态计算：当关键词集合的最后一项X_n-1输入完成后，隐藏状态计算的隐藏变量为H_n-1，此时，H_n-1集合了所有关键词的语义信息；为了研究关键词之间的关联与否，将输入序列中的所有关键词两两组合，重新拼接成新的序列，在X_ij中计算预备隐藏向量h_ij：

h_ij＝φ(X_ijw_xh+H_n-1w_hh+b_ij)，

其中，w_xh为X_ij的输入权重，w_hh为预备隐藏状态的权重，b_ij为偏置项；

(1.3)语义向量计算：最终包含关键词两两之间关联性的隐藏向量H_n：

其中，w_ij为预备隐藏变量h_ij各自的权重参数。