[发明专利]使用注意力模型分析文本信息的方法及装置、电子设备

权利要求书

1.一种使用注意力模型分析文本信息的方法，所述注意力模型包括输入层、上下文编码层、信息交互层、信息推理层和输出层，所述方法包括：

使用所述输入层将输入的文本信息中包括的问题词和上下文序列分别转换为问题向量Q和上下文向量P；以及

使用所述上下文编码层分别对所述问题向量Q和所述上下文向量P进行编码和特征提取，得到编码问题特征U和编码上下文特征H；

使用所述信息交互层融合所述编码问题特征U和所述编码上下文特征H，得到针对所述问题词的上下文特征Z；

使用所述信息推理层得到针对所述上下文特征Z的已编码上下文段落特征M；以及

使用所述输出层处理所述已编码上下文段落特征M，以得到并输出所述问题词在所述上下文序列中的位置。

2.根据权利要求1所述的方法，其中，所述上下文编码层包括多个双向Transformer模块，每个双向Transformer模块均包括自注意力模块、前馈神经网络和输出模块。

3.根据权利要求1或2所述的方法，其中，所述信息交互层包括堆叠的多层注意力模块，每层注意力模块包括问题与上下文对齐模块、上下文自对齐模块和上下文推理模块；

所述使用所述信息交互层融合所述编码问题特征U和所述编码上下文特征H，得到针对所述问题词的上下文特征Z包括：

使用所述问题与上下文对齐模块，根据所述编码问题特征U和所述编码上下文特征H，得到针对问题词的上下文段落表示V；

使用所述上下文自对齐模块，根据所述编码上下文特征H和所述上下文段落表示V，得到所述上下文序列中每个词的特征表示以及

使用所述上下文推理模块，根据所述每个词的特征表示得到针对所述问题词的上下文特征表示Z。

4.根据权利要求3所述的方法，其中，所述使用所述问题与上下文对齐模块，根据所述编码问题特征U和所述编码上下文特征H，得到针对问题词的上下文段落表示V包括：

计算所述编码问题特征U和所述编码上下文特征H之间的第一相似度矩阵E；

根据所述相似度矩阵E计算所述上下文序列中每个词关于所述问题词的注意力分布Softmax(E)；以及

根据所述注意力分布Softmax(E)计算所述针对所述问题词的上下文段落表示V。

5.根据权利要求4所述的方法，其中，所述根据所述注意力分布计算所述针对所述问题词的上下文段落表示V包括：

根据所述编码问题特征U和所述注意力分布Softmax(E)，计算所述上下文序列中每个词关于所述问题词的上下文段落表示矩阵

通过对上下文段落表示矩阵中的元素进行加权并求和，计算所述针对所述问题词的上下文段落表示V。

6.根据权利要求5所述的方法，其中，所述根据所述编码上下文特征H和所述上下文段落表示V，计算所述上下文序列中每个词的特征表示包括：

计算所述上下文序列中每个词彼此之间的相似度矩阵S；

根据所述相似度矩阵S计算所述上下文序列中每个词关于所述上下文序列的注意力分布Softmax(S)；以及

根据所述注意力分布Softmax(S)计算所述上下文序列中每个词的特征表示

7.根据权利要求6所述的方法，其中，对于所述多层注意力模块，根据第j-1层注意力的相似度矩阵E^j-1和相似度矩阵S^j-1，计算第j层注意力模块的相似度矩阵E^j和相似度矩阵S^j，j大于等于1小于等于J，J为注意力模块的总层数。

8.根据权利要求1至7中任一项所述的方法，还包括：使用所述问题词在所述上下文序列中的位置来确定与所述问题词相对应的至少一个问题，以便提供针对所述至少一个问题的答复。