[发明专利]一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法

权利要求书

1.一种基于三通道认知图谱和图注意力网络的蒙语多跳问答方法，其特征在于，步骤如下：

步骤1，利用机器翻译将蒙语查询问句翻译为汉语查询问句；

步骤2，将汉语查询问句分句和分词后进行词性标注；

步骤3，将词性标注后的汉语问题语句转换成汉语查询语句，输入认知图谱服务器；

步骤4，所述认知图谱服务器模拟认知学中人类的认知系统，使用三个通道进行并行计算，其中通道1在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，汇总语义向量；通道2在百科文档中抽取与汉语查询语句中的每一个词对应的实体名称并扩展节点，同时将实体与知识图谱中实体的三元组信息进行链接，如果实体不是通用知识库中的实体，则与专业知识库中的实体进行链接，最后汇总语义向量；通道3利用图神经网络在认知图谱上进行推理计算；

步骤5，通过归一化、查询排序和查询选择，给出概率最大的答案，返回结果；

其中，所述通道1采用ALBERT模块，所述ALBERT模块是在BERT基本模型结构的基础上：

引入词向量因式分解方法解耦合词向量维度E和Transformer隐含层维度H，从而使H≠E；

引入跨层参数共享机制，使得每一层Transformer的权重均相同；

引入句子顺序预测的预训练任务取代BERT基本模型结构中的NSP任务，正例的构成与NSP一致，而负例的构成是直接对调两个文本片段的位置，从而能够学习到细微的语义差别及语篇连贯性；

所述通道2采用链接通用开源知识图谱的K-BERT模块，在K-BERT模块中，先将句子树平铺，然后通过软位置编码恢复句子树的顺序信息，并使用可见矩阵将图或树结构中的结构信息引入到BERT模型中；

所述通道3采用图注意力网络模块，以注意力机制替代图卷积中对邻节点特征的标准化求和操作，用注意力机制对邻近节点特征即被所有节点共享的权重矩阵和第i个节点第l层的特征相乘，最后加权求和；

所述K-BERT模块中，对于一个可见矩阵M，相互可见的点取值为0，相互不可见的点取值为负无穷，将M加到计算self-attention的softmax函数里，公式如下：

hⁱ⁺¹＝Fⁱ⁺¹(hⁱW_r)

其中，W_p，W_q，W_r是已训练的模型权重参数；

hⁱ是第i个自注意力掩码块的隐状态；

Fⁱ⁺¹是中间变量；

如果两个词之间相互不可见，则它们之间的影响系数F[i,j]＝0，即这两个词的隐状态h相互独立，从而将句子树中的结构信息输入给BERT；

所述图注意力网络模块中，其图数据结构有两种特征：

对于任意一个顶点i，它在图上的邻居N_i，构成第一种特征，即图的结构关系；

除了图的结构关系之外，每个顶点还有自己的特征h_i；

图注意力网络模块中节点更新计算通常分为两个步骤：

1)计算注意力系数

对于顶点i，逐个计算i与其邻居j之间的相似系数：

W^(l)是节点特征转换的权重矩阵；

是GAT输出的对于每个顶点i的特征；

是中间变量；

LeakyReLU是整流函数；

a(·)是一个映射；

是相似系数；

共享参数W的线性映射对顶点的特征进行了增维；

对顶点i,j变换后的特征进行了拼接；

最后将a(·)拼接后的高维特征映射到一个实数上；

即相似系数是通过可学习的参数W和映射a(·)实现学习顶点i,j之间的相关性；

最后用softmax函数进行归一化处理，即得到注意力系数，公式如下：

2)加权求和

根据计算好的注意力系数，将特征加权求和，公式如下：

是GAT输出的对于每个顶点i的新特征，其整合了邻域信息；

σ()是激活函数；

是与节点i距离为1的所有邻节点的集合；

最后引入多头注意力机制将拼接在一起。