[发明专利]一种基于关键词的大坝缺陷图像描述文本生成方法

说明书

本发明公开了一种基于关键词的大坝缺陷图像描述文本生成方法，步骤为：将分解机模型与RNN编码器相结合，将缺陷关键词作为编码器的输入；将编码器语义向量通过注意力机制分配权重，控制缺陷描述文本语义；采用LSTM解码器进行文本预测，通过输入门、遗忘门和输出门来控制隐藏状态中信息的流动，减少传统循环神经网络梯度消失或梯度爆炸的现象。本发明弱化输入序列之间的时序性，强调缺陷关键词之间的成因关联，不仅能够生成完整语义的描述文本，同时还避免了梯度爆炸现象。经分解机编码器与解码器模型生成的描述文本能够准确并连贯地描述缺陷信息，还能够清晰表达缺陷之间的成因关联。

技术领域

本发明属于大坝缺陷描述文本生成领域，特别涉及一种基于关键词的大坝缺陷图像描述文本生成方法。

背景技术

建筑工程领域将工程施工质量中不符合规定要求的检验项或检验点定义为缺陷，随着水电站大坝的长期运行，材料老化、环境影响等原因导致了不同程度缺陷的形成。当缺陷程度较轻时，尚可采取相应的措施对缺陷进行及时地处理，达到结构的承载要求，一旦缺陷没有得到及时地处理与补救，将对大坝安全运行造成重大威胁。电监安全[2005]24号《水电站大坝安全定期检查办法》明确指出应当委派专员定期对水电站大坝进行检查与安全评价，并出具必要的专项检查报告和总结报告，以维护大坝安全运行。

对于大坝于缺陷特征而言，缺陷关键词的语序对于文本语义的影响较小，而关键词之间的关联关系对于文本语义有较大的影响。如“碱性物析出”通常不是单独存在的，根据其特殊的化学成因，往往伴随着“渗水”而产生，因此，在文本生成任务中，缺陷关键词之间的成因联系不可忽视。

发明内容

发明目的：为了克服现有技术中存在的问题，本发明提供一种基于关键词的大坝缺陷图像描述文本生成方法，能够准确连贯地依据现有缺陷关键词进行文本生成，不仅可以定性的进行缺陷描述，同时能够表述缺陷之间的成因关联，为完成大坝安全巡检报告提供直观的文本依据，降低人工整合的复杂度。

技术方案：为实现上述目的，本发明提供一种基于关键词的大坝缺陷图像描述文本生成方法，包括如下步骤：

(1)将分解机模型与RNN编码器相结合，计算各个时刻输入的不同缺陷关键词和两两关键词组合的隐藏状态；

(2)将编码器语义向量通过注意力机制为输入的缺陷关键词分配权重，控制缺陷描述文本语义；

(3)采用LSTM解码器进行文本预测，通过输入门、遗忘门和输出门来控制隐藏状态中信息的流动，减少传统循环神经网络梯度消失或梯度爆炸的现象。

所述利用分解机模型与RNN编码器相结合的模型的具体步骤如下：

(1.1)隐藏状态计算：定义时间步长为n-1的关键词输入集合为X_T(X₁,X₂,…,X_n-1)，当前时刻输入为X_t，H_t是该时间步的隐藏变量，为了使所有前向序列对当前时间步t的输出序列产生影响，引入权重参数W_hh，该权重参数用来描述时间步t-1的隐藏层变量H_t-1对H_t的作用。时间步t的隐藏层变量：

H_t＝φ(X_tW_xh+H_t-1W_hh+b_h)，

其中，W_xh为X_t的输入参数，W_hh为隐藏层参数，b_h为隐藏层偏差参数，h为隐藏单元个数，为了使得前向时间步的序列对后向序列产生影响，隐藏变量H_t将联合X_t+1作为下一个时间步的输入，依次循环下去；