[发明专利]一种基于双代理增强学习路径搜索的知识表示学习方法

说明书

本发明公开了一种基于双代理增强学习路径搜索的知识表示学习方法，包括以下步骤：(1)删除知识库中的冗余关系，预训练实体和关系的向量；(2)路径搜索器根据实体和关系的向量搜索知识库中每一个三元组的实体对之间的若干个多跳关系，在搜索过程中使用考虑状态和历史信息的关系代理和实体代理进行决策；(3)根据实体之间的多跳关系和搜索获得的多跳关系来学习实体和关系的向量，并使用注意力机制来衡量每个多跳关系的权重。该知识表示学习方法能够引入高质量的多跳关系。

技术领域

本发明涉及知识表示学习领域，尤其涉及一种基于双代理增强学习路径搜索的知识表示学习方法。

背景技术

目前，包含大量结构化知识的知识库是许多应用的重要组成部分，例如知识推理、知识问答等。因此，近年来许多企业和组织构建了大型知识库，例如Freebase、DBpedia、YAGO等。知识库中的知识以三元组(头实体，关系，尾实体)的形式表示(可以简写为(h,r,t))。尽管现有的知识库已经包含了大量的知识，但仍然有很多实体间的关系缺失，因此知识库补全成为了一个研究热点。

实现知识库补全，首先要对知识库进行建模。符号表示是一种知识库建模方法，其将知识库中的实体和关系视为符号。符号表示具有低计算效率和数据稀疏性的缺点，不能适应当今容量逐渐增大的知识库。知识表示也是一种知识库建模方法，其将知识库中的实体和关系嵌入到一个低维向量空间中，并将实体和关系的语义映射到对应的向量中，从而解决了低计算效率和数据稀疏性问题，能够应用于大型知识库。

基于翻译的模型是一类典型的知识表示学习方法，其将一个三元组中的关系视为头实体和尾实体之间的翻译操作。当实体间的关系缺失时，可以通过尾实体的向量与头实体的向量的差计算出相应的关系向量，从而补全关系。现有的基于翻译的模型大多只考虑单跳关系，而没有考虑多跳关系，即实体间由多个关系构成的“关系路径”。

一部分基于翻译的模型考虑了多跳关系，但存在以下的问题：

(1)通过遍历的方式来获取多跳关系，非常耗时并且多跳关系的质量较低；

(2)对每个多跳关系赋予的权重基于其静态特征，模型不能在训练过程中学习这些权重。

近年来，涌现了一些将增强学习引入到知识库补全中的工作，通过构建增强学习模型来得到高质量的多跳关系。然而这些模型存在以下的问题：

(1)在搜索多跳关系的过程中考虑的信息不够全面，仅考虑关系的选择而忽略了实体的选择；

(2)奖励的设置过于简单，没有综合考虑各种因素。

发明内容

本发明要解决的技术问题是如何在知识表示学习过程中搜索并引入高质量的多跳关系。

为解决上述问题，本发明提供了一种基于双代理增强学习路径搜索的知识表示学习方法，包括以下步骤：

(1)删除知识库中的冗余关系，预训练实体和关系的向量；

(2)路径搜索器根据实体和关系的向量搜索知识库中每一个三元组的实体对之间的若干个多跳关系，在搜索过程中使用考虑状态和历史信息的关系代理和实体代理进行决策；

(3)根据实体之间的多跳关系和搜索获得的多跳关系来学习实体和关系的向量，并使用注意力机制来衡量每个多跳关系的权重。

与现有技术相比，本发明具有的有益效果为：

本发明与通过遍历来得到多跳关系的传统方法相比，路径搜索器搜索到的多跳关系质量更高，对多跳关系赋予的权重更合理；与现有基于增强学习的方法相比，使用两个代理进行决策，可以更全面地利用状态和信息，并且模型中奖励的设置更加合理。本发明主要应用于知识库补全。

附图说明