[发明专利]一种采用注意力机制的循环神经嵌入表示方法

说明书

本发明公开了一种采用注意力机制的循环神经嵌入表示方法，包括如下步骤：S1，构建基于随机游走的方法对知识图谱中以三元组中两实体为两端进行多跳路径的提取，多跳路径包括关系路径和实体路径；S2，利用循环神经网络在序列中的良好效果，进而将多跳实体路径嵌入表示成其对应的多跳实体路径向量，多跳关系路径嵌入表示成其对应的多跳关系路径向量，根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。本发明利用RNN实现对知识图谱的向量表示，实现对知识图谱全局特征的提取，提出了Att‑RNN模型，解决了现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。

技术领域

本发明涉及知识图谱嵌入表示技术领域，特别是涉及一种采用注意力机制的循环神经嵌入表示方法。

背景技术

目前，知识图谱表示学习技术取得了巨大的进步，表示学习可以是利用机器学习实现知识图谱中实体和关系的低维稠密向量表示。大致分为基于翻译模型、双线性模型、基于神经网络模型和图嵌入模型。

图嵌入包括节点嵌入，边嵌入和整图嵌入。其中Node2vec、deepWalk和RDF2Vec将Skip-gram扩展到图数据，对序列中节点之间的高阶相似性进行建模。LINE和SDNE考虑到图中有大量节点间的连接是缺失的情况，采用节点的二阶相似性作为一阶相似性的补充，即利用两节点共有的邻居节点来表征它们的相似性。

然而，上述知识图谱嵌入表示方法中，通常很难兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征。

发明内容

针对上述问题，本发明的目的在于提出一种采用注意力机制的循环神经嵌入表示方法，以解决现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。

本发明采用的技术方案如下：一种采用注意力机制的循环神经嵌入表示方法，包括如下步骤：

S1，构建基于随机游走的方法对知识图谱中以三元组中两实体为两端进行多跳路径的提取，多跳路径包括关系路径和实体路径；

S2，利用循环神经网络(RNN)在序列中的良好效果，进而将多跳实体路径嵌入表示成其对应的多跳实体路径向量，多跳关系路径嵌入表示成其对应的多跳关系路径向量，根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。

其中，步骤S1具体包括：

S11，定义相关概念，其中包括子图、关系子图、实体子图、多跳实体路径、多跳关系路径和三元组基本概念的描述；

S12，序列获取，利用随机游走获取多跳实体序列和多跳关系序列，以序列作为循环神经网络的输入；

S13，序列向量表示，利用循环神经网络在序列中良好的表现以实现多跳序列的表示向量。

其中，步骤S2中根据注意力机制用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示，其向量表示的过程为：

子图向量表示，使用注意力机制得到子图中多跳序列与三元组之间的相关性权重，获取最后的多跳序列构成的关系子图和实体子图的向量表示。

根据本发明提供的采用注意力机制的循环神经嵌入表示方法，采用基于注意力机制的循环神经网络的知识图谱表示模型(Att-RNN模型)，用来实现对以知识图谱中三元组两端构成的实体子图和关系子图的向量表示。本发明首先利用RNN实现对知识图谱的向量表示，实现对知识图谱全局特征的提取，提出了Att-RNN模型，解决了现有技术难以兼顾基于知识图谱特征表示的时间和空间的简单性和全局特征信息的表征的问题。

附图说明

图1为采用注意力机制的循环神经网络的知识图谱表示模型示意图。

具体实施方式