[发明专利]基于增量重划分的分布式RDF系统及其查询优化方法

说明书

本发明公开了基于增量重划分的分布式RDF系统及其查询优化方法，属于知识图谱数据存储技术领域，本发明的系统架构包括RDF数据清洗模块、RDF数据划分模块、增量重划分模块和分布式查询模块。本发明提出了一种混合关系模式存储RDF数据的存储框架，减少了数据预处理时间和系统存储开销；通过采用哈希划分和垂直划分相结合的混合存储模式，优化了各种类型的查询模式，显著提高了分布式SPARQL查询性能；设计基于频繁模式的增量重划分模型，实现了动态适应查询工作负载变化。

技术领域

本发明属于知识图谱数据存储技术领域，具体涉及基于增量重划分的分布式RDF系统及其查询优化方法。

背景技术

RDF作为一个展示、共享和连接网络上的数据模型，已经被广泛地用在各种应用中。随着RDF数据规模的日益增长，RDF数据的存储和SPARQL查询处理已经超出了单机的处理能力，人们需要设计出高性能的分布式RDF数据管理系统，以实现对大规模的RDF数据进行管理和重用。

现有的分布式RDF数据管理系统通过一个无共享的集群实现高效处理大规模RDF数据。依据分布式RDF系统的执行模型可以将现有的系统分为：基于Hadoop的系统和基于内存(RAM)的系统。这些系统为提高分布式SPARQL查询评估的性能和伸缩性，对RDF数据的储存模式和SPARQL到SQL的查询转化进行了研究与优化。

但现有的分布式RDF数据管理系统仍存在以下问题：

(1)仅针对特定的查询类型进行优化，查询效率低；

(2)需要昂贵的预处理开销和数据加载时间；

(3)数据冗余度高；

(4)不能动态适应工作负载的变化。

发明内容

发明目的：本发明的目的在于提供基于增量重划分的分布式RDF系统；本发明的另一目的在于提供基于增量重划分的分布式RDF系统的查询优化方法。

技术方案：为实现上述目的，本发明提供如下技术方案：

基于增量重划分的分布式RDF系统，包括RDF数据划分模块、RDF数据增量重划分模块和分布式查询模块，其中：

所述的RDF数据划分模块，包括关系存储模式选择器和存储执行器；存储模式选择器，从所构建的关系存储模式库中选择所需的混合存储方案；存储执行器，根据选择的混合存储方案，使用相应的存储模式对RDF数据进行存储；

所述的RDF数据增量重划分模块，包括频繁模式挖掘器和增量重划分执行器；其中频繁模式挖掘器，通过查询监控器监控查询工作负载，利用SPARQL查询中谓词的共现关系挖掘出频繁模式；增量重划分执行器，依据频繁模式构建频繁谓词扩展垂直划分表，实现RDF数据的增量重划分；

所述的分布式查询模块，包括查询监控器、查询规划器和查询执行器；其中查询监控器用于监控查询工作负载，将查询工作负载定期分发给频繁模式挖掘器；查询规划器用于设计分布式查询计划，对SPARQL查询应用代数优化和连接顺序优化后，生成逻辑查询计划；查询执行器，通过Spark SQL生成相应的物理查询计划，进行查询计算。

进一步地，所述的关系存储模式库包括哈希划分、垂直划分(VP)、扩展垂直划分(ExtVP)、属性表。

所述的基于增量重划分的分布式RDF系统的查询优化方法，包括如下步骤：

(1)清洗RDF数据集；

(2)基于混合关系模式存储RDF数据；

(3)设计分布式查询计划；

(4)执行分布式查询计划；

(5)对RDF数据进行增量重划分。