[发明专利]一种知识图谱海量数据图查询方法及具有其的系统

权利要求书

1.一种知识图谱海量数据图查询方法，其特征在于，方法包括：

获取所述数据图的开始和结束的实体名单，其中，所述实体名单从所述开始到所述结束包括实体和边的hive表；

根据预设的过滤条件，过滤所述实体和所述边的hive表；

根据过滤后的所述实体和所述边的hive表，确定所述实体和所述边的集合；

将所述实体的属性放入所述边的属性中，将所述边的集合导入GraphFrame框架中，确定join数据量和次数，其中，所述边的集合中所述边的属性包含实体信息；

根据join数据量和次数的GraphFrame框架，对所述数据图查询。

2.根据权利要求1所述的知识图谱海量数据图查询方法，其特征在于，所述获取所述数据图的开始和结束的实体名单的步骤，包括：

获取所述实体名单中所述实体的多个hive表以及所述实体与所述实体之间边的多个hive表，其中，所述实体的hive表包括ID字段，所述边的hive表包括SRC和DST字段。

3.根据权利要求1所述的知识图谱海量数据图查询方法，其特征在于，所述根据预设的过滤条件，过滤所述实体和所述边的hive表的步骤，包括：

将所述数据图的开始和结束的实体名单导入spark应用；

将计算所述开始实体名单到结束实体名单要使用的所述实体和所述边加载到spark应用中；

根据预设的过滤条件，在spark应用中过滤掉不符合过滤条件的实体和边。

4.根据权利要求1所述的知识图谱海量数据图查询方法，其特征在于，所述根据过滤后的所述实体和所述边的hive表，确定所述实体和所述边的集合的步骤，包括：

将所述实体和所述边的hive表的固定属性进行编码，其中，所述固定属性至少包括hive表的ID、SRC和DST；

将32位的随机字符串数字编码成所述实体和所述边的两个long类型的整数；

将编码后的所述实体和所述边分别对应形成所述实体的集合和所述边的集合。

5.根据权利要求4所述的知识图谱海量数据图查询方法，其特征在于，所述将所述实体的属性放入所述边的属性中，将所述边的集合导入GraphFrame框架中，确定join数据量和次数的步骤，包括：

将所述实体的属性对应的放入所述边的属性中，并对所述边的集合做join；

根据开始和结束的实体名单，限制所述边的数量。

6.根据权利要求5所述的知识图谱海量数据图查询方法，其特征在于，所述将所述实体的集合和所述边的集合导入GraphFrame框架中，将所述实体的属性放入所述边的属性中，确定join数据量和次数的步骤，还包括：

若计算每条路径中不包含重复实体，则计算每1度路径时过滤掉有重复实体的路径，其中，所述每1度路径表示与所述实体关系为1度。

7.根据权利要求1所述的知识图谱海量数据图查询方法，其特征在于，所述根据join数据量和次数的GraphFrame框架，对所述数据图查询的步骤，包括：

根据join数据量和次数的GraphFrame框架，计算所述实体和边的个数，并导出所述数据图查询的所有路径，导出所有所述实体和所述边的相关属性，以及导出用于数据图展示的json数据。