[发明专利]基于分布式数据库系统的知识图谱路径推理方法及系统

说明书

本发明属于知识图谱技术领域，涉及一种基于分布式数据库系统的知识图谱路径推理方法、系统及其应用。本方法是一种基于GreenPlum分布式数据库系统和Madlib环境实现知识图谱路径推理的方法，本方法以GreenPlum分布式数据库系统作为知识图谱数据的存储系统，通过图谱关系的文本分类、统一相似关系、机器学习和逻辑回归，构建出具有真实物理意义的特征矩阵，实现了全量路径的并行查找以及深层路径关系的推理分析。作为一种兼容大数据及图计算的全新的知识图谱路径推理方法，本方法能够实现对知识图谱的深层路径关系的推理分析，经过数据集验证，本方法能够实现高效计算、并提高路径推理的准确率。

技术领域

本发明属于知识图谱技术领域，尤其涉及一种基于分布式数据库系统的知识图谱路径推理方法、系统及其应用。

背景技术

随着大数据和人工智能技术的发展，万物互联思想已逐步应用在众多领域，知识图谱技术应运而生。知识图谱（Knowledge Graph），本质上是一种揭示实体之间关系的语义网络，是由一条条知识组成，每条知识表示为一个SPO三元组（Subject-Predicate-Object）。换言之，知识图谱是图结构的数据集，在逻辑结构上分为模式层与数据层两个层次，数据层主要是由一系列的事实组成，而知识将以事实为单位进行存储。目前，大多以三元组（es, r, eo）的形式存储事实，其中es和eo分别表示主语和宾语实体，r表示它们之间的关系，例如（实体1，关系，实体2）、（实体、属性，属性值）等。一般来说，知识图谱中存储的事实通常是不完备的，随着知识体系发展和更新，需要对知识图谱进行补充和完善，然而，对知识图谱实施人工补全费时费力，且难以实现，因此，需要开发自动化补全知识图谱的算法。

在早先的路径推理方案中，知识图谱可以表示为一个三阶二值张量，其中每一个元素表示一个三元组，1表示真实三元组，0表示未知三元组（或错误或丢失）。因此，很多基于张量分解的补全模型被提出。PRA（Path-Ranking Algorithm）路径推理利用张量分解进行知识推理，提出了一种理论方法，在运用中多使用路径随机游走、三阶张量计算生成三阶矩阵，但是，在实际数据中可能大量存在多级路径才能到达的复杂关系场景，因此，现有的PRA方案很难具有现实意义，更多的只能停留在理论层面。在这样的大背景下，如何针对知识图谱路径推理开发一种新的推理方法，以实现高效计算、并提高路径推理准确率的目标，已成为知识图谱技术领域中一个迫切需要解决的问题。

发明内容

为了解决现有知识图谱路径推理方案实施效果不理想的问题，本发明提出了一套解决方案。

术语解释：

GreenPlum：一种常用的分布式数据库系统，底层为Postgresql集群。

三元组：图数据的一种组织形式，包括顶点、关系指向、各自属性。

全量路径：图谱库样本中源数据与目标数据之间全部关系路径的总和。

Madlib：基于GreenPlum的AI引擎，本申请中使用Madlib进行全量路径查找，并利用其对最终生成的特征数据矩阵进行逻辑回归训练、推理。

NLP（Natural Language Processing）分析：自然语言处理方法，是与自然语言的计算机处理有关的所有技术的统称，其目的是使计算机能够理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能，本申请中用来合并统一同类关系，及实现关系相似度的计算。

异常关系与极少数关系剔除：设定一些常用规则，消除异常干扰路径，提高训练特征的可信度。

图谱库中已有样本：已存在的知识图谱库中的全部关系数据（如某人的多级关系路径）。

已知因变量的样本：已知某人是作家或不是作家。