[发明专利]使用注意力模型分析文本信息的方法及装置、电子设备

说明书

本公开提供了一种使用注意力模型分析文本信息的方法、装置、电子设备，可应用于人工智能、金融领域及其他领域。注意力模型包括输入层、上下文编码层、信息交互层、信息推理层和输出层。该方法包括：使用输入层将输入的文本信息中包括的问题词和上下文序列分别转换为问题向量Q和上下文向量P；以及使用上下文编码层分别对问题向量和上下文向量进行编码和特征提取，得到编码问题特征和编码上下文特征；使用信息交互层融合编码问题特征U和编码上下文特征H，得到针对问题词的上下文特征Z；使用信息推理层得到针对上下文特征Z的已编码上下文段落特征M；以及使用输出层处理已编码上下文段落特征，以得到并输出问题词在上下文序列中的位置。

技术领域

本公开涉及人工智能技术领域，更具体地，涉及一种使用注意力模型分析文本信息的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

随着深度学习技术的发展，机器阅读理解模型中，注意力机制成为了机器阅读理解模型设计的主流方法。在相关技术的注意力模型中，注意力机制用来计算上下文和问题对之间的相似度，以相似度矩阵为基础构建上下文和段落的特征表示，实现上下文和问题之间的语义交互，有效提高了模型的文本表示能力。然而，对于这些基于注意力机制的模型架构，多层的注意力运算是相对独立的，每一层注意力的运算未曾考虑到上一层注意力的影响。因此，在多层注意力框架中，多层的注意力在同一文本上的分布会导致注意力冗余的现象。此外，多层的注意力未能关注到文本的重要内容，造成重要信息的注意力缺失问题。

发明内容

有鉴于此，本公开提供了一种使用注意力模型分析文本信息的方法及装置、电子设备和计算机可读存储介质。通过基于输入文本信息的问题词和上下文序列，利用多层注意力模型实现问题词和上下文序列的信息交互，得到并输出问题词所在的上下文序列的位置。

本公开的一个方面提供了一种使用注意力模型分析文本信息的方法，所述注意力模型包括输入层、上下文编码层、信息交互层、信息推理层和输出层，所述方法包括：使用所述输入层将输入的文本信息中包括的问题词和上下文序列分别转换为问题向量Q和上下文向量P；以及使用所述上下文编码层分别对所述问题向量Q和所述上下文向量P进行编码和特征提取，得到编码问题特征U和编码上下文特征H；使用所述信息交互层融合所述编码问题特征U和所述编码上下文特征H，得到针对所述问题词的上下文特征Z；使用所述信息推理层得到针对所述上下文特征Z的已编码上下文段落特征M；以及使用所述输出层处理所述已编码上下文段落特征M，以得到并输出所述问题词在所述上下文序列中的位置。

根据本公开的实施例，所述上下文编码层包括多个双向Transformer模块，每个双向Transformer模块均包括自注意力模块、前馈神经网络和输出模块。

根据本公开的实施例，所述信息交互层包括堆叠的多层注意力模块，每层注意力模块包括问题与上下文对齐模块、上下文自对齐模块和上下文推理模块；所述使用所述信息交互层融合所述编码问题特征U和所述编码上下文特征H，得到针对所述问题词的上下文特征Z包括：使用所述问题与上下文对齐模块，根据所述编码问题特征U和所述编码上下文特征H，得到针对问题词的上下文段落表示V；使用所述上下文自对齐模块，根据所述编码上下文特征H和所述上下文段落表示V，得到所述上下文序列中每个词的特征表示以及使用所述上下文推理模块，根据所述每个词的特征表示得到针对所述问题词的上下文特征表示Z。

根据本公开的实施例，所述使用所述问题与上下文对齐模块，根据所述编码问题特征U和所述编码上下文特征H，得到针对问题词的上下文段落表示V包括：计算所述编码问题特征U和所述编码上下文特征H之间的第一相似度矩阵E；根据所述相似度矩阵E计算所述上下文序列中每个词关于所述问题词的注意力分布Softmax(E)；以及根据所述注意力分布Softmax(E)计算所述针对所述问题词的上下文段落表示V。