[发明专利]一种基于关系路径与双层注意力的知识图谱嵌入方法

说明书

本发明公开了一种基于关系路径与双层注意力的知识图谱嵌入方法。依次包括以下步骤：步骤1：构建双层注意力编码器，在深度学习技术的基础上结合关系路径学习知识图谱嵌入；步骤2：根据步骤1得到的嵌入表示，引入生成对抗网络对学得的嵌入表示施加正则化约束。通过联合优化嵌入表示学习和对抗训练，模型可以得到一个更加鲁棒的嵌入表示，可以有效地提升下游任务的性能，例如链路预测等。

技术领域

本发明涉及一种知识图谱嵌入方法，具体涉及一种基于关系路径与双层注意力的知识图谱嵌入方法。

背景技术

知识图谱嵌入(Knowledge Graph Embedding，KGE)属于表示学习的范畴，关键思想是将实体和关系嵌入到低维连续的向量空间中，在保留知识图谱固有结构的同时简化操作，学到的嵌入表示可以进一步用于各种任务中，如知识库补全、推荐系统等。知识图谱表示学习领域已提出了大量相关模型，尽管已有的基于深度学习的KGE模型比浅层模型很大程度地提升了嵌入的表达能力，但仍然存在一些问题：(1)它们通过堆叠多个网络层传播高阶邻域内的信息，容易发生过度平滑，即模型过深时高阶邻域中的信息会剧减，从而无法充分提取知识图谱中的语义信息；(2)它们通常仅利用知识图谱中存在的三元组事实，并且往往只考虑实体之间的直接关系，忽略了“间接关系”的重要性。实际上实体之间存在着大量的多步路径，并且蕴含了丰富的推理模式；(3)知识图谱中的关系是至关重要的，但是以往模型通常利用权重矩阵更新关系表示，对关系的嵌入学习比较简单。(4)另外，复杂的网络结构缺乏正则化约束，容易发生过拟合问题，导致模型的鲁棒性和泛化能力较差。

发明内容

发明目的：针对上述存在的问题，本发明设计了一种基于关系路径与双层注意力的知识图谱嵌入方法，即HARPA(Hierarchical Attention with Relation Paths forKnowledge Graph Embedding Adversarial Learning)。具体来说，HARPA模型包含两部分：双层注意力编码器和对抗训练模块。双层注意力编码器首先在三元组级别挖掘三元组和邻域中的信息，不用堆叠多个注意力层便可获取高阶邻域的信息，更好地利用邻域信息辅助模型学习嵌入；然后在路径级别采用注意力机制衡量路径与对应关系之间的语义相似性，并基于三元组级别的关系嵌入建模路径，进一步使用路径表示更新关系嵌入，最后使用ConvKB模型作为解码器执行链路预测任务，将学得的实体关系表示输入到解码器中，更好地维持了三元组之间的平移特性。在嵌入过程中同时引入生成对抗网络指导编码器的嵌入表示学习过程，可以将生成对抗网络模块视作整个模型的正则化项，约束知识图谱嵌入表示学习的过程，从而缓解过拟合的问题并增强模型的鲁棒性。

技术方案：本发明所述的一种基于关系路径与双层注意力的知识图谱嵌入方法依次包括以下顺序执行的步骤：

步骤1.构建双层注意力编码器，包含三元组级别和路径级别，首先在三元组级别学习实体嵌入和关系嵌入，通过注意力机制计算三元组的权重系数后更新实体表示，以获取邻域内邻居节点对中心实体的不同影响，然后将学得的嵌入表示输入到下一层；然后在路径级别根据对应关系与路径之间的语义相似性筛选路径，紧接着基于三元组级别的嵌入建模路径表示，并通过注意力机制计算路径的权重后进一步更新关系嵌入，解码器进一步提取三元组和路径中的信息，并维持三元组的平移特性；

步骤2.根据步骤1得到的嵌入表示，引入生成对抗网络对学得的嵌入表示施加正则化约束。

进一步地，步骤1中所述双层注意力编码器基于图注意力网络(Graph AttentionNetwork，GAT)构建，具体包括如下步骤：

步骤1.1.在三元组级别，对GAT加以改进，在计算邻域中不同三元组对中心实体的影响时考虑关系：针对每个中心实体，首先在头实体、尾实体和关系的初始表示上执行线性转换，然后使用激活函数以确保注意力非负即获得每个三元组的嵌入表示：