[发明专利]一种基于双边路径质量评估的强化学习知识图谱推理方法

说明书

本发明公开了一种基于双边路径质量评估的强化学习知识图谱推理方法。该发明针对传统知识图谱强化学习推理算法未明确定义推理路径质量的问题所导致的虚假路径及对长路径推理效果差的问题，设置双边路径质量评估模块，通过爬取维基百科作为外部辅助信息，对头尾实体描述信息关键词集合与路径实体分别计算语义相似度，拟合后代替原来的奖励模块反馈给智能体，激励其选择高质量路径。该方法将智能体在环境中游走得到的路径映射到LSTM策略网络，以双边路径质量评估器的输出作为奖励反馈给智能体，最终实现较为准确的实体关系路径学习，对长路径有着更高的适应性和敏感度。

技术领域

本发明属于自然语言处理领域。

背景技术

知识图谱推理算法的主流方法是从构造的知识图中推断出新的事实，基于强化学习的知识图谱推理已经成为图谱推理算法的重要研究方向之一，在EMNLP 2017中发布的DeepPath首次在知识图谱推理中引入强化学习方法，其主要任务是从给定的实体对(head,tail)推理从head到tail的路径，其子任务包括关系预测和事实预测，具体地它对知识图谱进行简单采样以训练策略网络并通过手动设计的奖励函数对策略网络再次进行训练(如此设计的策略可能不是最优的且针对不同数据集可能需要不同设置)。在原DeepPath算法中，使用强化学习进行知识推理的过程中，没有对路径质量进行完善考虑：在推理的过程中，智能体可能被虚假路径误导，致使出现“假阴”与“假阳”；

Multihop-KG选择随机的进行action-dropout，在训练的每一步随机锁住外向边，来鼓励智能体选择更多样化的路径以淡化假阳的负面影响，但无法有效解决假阴问题，且现有的强化学习知识推理算法皆没有明确的解释一条路径是好是坏。

为了解决传统强化学习推理方法没有对推理路径的质量给出明确定义的问题，本专利提出了一种基于双边路径质量评估的强化学习知识图谱推理方法。通过外部辅助信息的帮助，对头尾实体描述信息与路径实体描述信息进行处理，提取关键词并分别计算头尾实体关键词与路径实体关键词的语义相似度，拟合后作为双边路径质量评分以替代原奖励模块，作为此次游走的奖励并反馈给智能体，以使其在后续的游走中选择高质量的路径。

发明内容

本发明提出一种基于双边路径质量评估的知识图谱推理算法。该算法步骤如下：

步骤一：对数据集进行预处理，针对不同数据集的不同特征选择适应性更强的表示学习方法。

步骤二：使用随机广度优先策略(BFS)与专家数据对模型进行预训练，以提高模型的收敛性。

步骤三：获取实体描述信息并处理，得到头尾实体描述信息关键词集合。

步骤四：基于文本相似度评估双边路径质量，对路径实体集与头*(尾)实体描述信息关键词语义相似度计算，通过双边路径质量评估算法得到双边路径质量评估器的输出评分。

步骤五：通过预训练得到的模型，赋予损失函数以具体的奖励方程(即步骤四的输出)进行再训练，智能体通过动作采样器与LSTM记忆组件与环境进行交互，不断更新网络参数以得出最终结果。

步骤六：使用训练好的策略网络得处链接预测与事实预测的结果。

附图说明

附图1：本方法改进与流程图。

附图2：双边路径质量评估模块算法整体框架。

附图3：维基百科信息爬取示意图。

附图4：头尾实体关键词集合与路径实体相似度计算示意图

附图5：路径实体集合与头实体关键词集合相似度Simi的影响力随路径长度增长而削弱。

附图6：路径长度与相似度Simi的权重趋势。