[发明专利]基于增量重划分的分布式RDF系统及其查询优化方法

权利要求书

1.基于增量重划分的分布式RDF系统，其特征在于：包括RDF数据划分模块、RDF数据增量重划分模块和分布式查询模块，其中：

所述的RDF数据划分模块，包括关系存储模式选择器和存储执行器；存储模式选择器，从所构建的关系存储模式库中选择所需的混合存储方案；存储执行器，根据选择的混合存储方案，使用相应的存储模式对RDF数据进行存储；

所述的RDF数据增量重划分模块，包括频繁模式挖掘器和增量重划分执行器；其中频繁模式挖掘器，通过查询监控器监控查询工作负载，利用SPARQL查询中谓词的共现关系挖掘出频繁模式；增量重划分执行器，依据频繁模式构建频繁谓词扩展垂直划分表，实现RDF数据的增量重划分；

所述的分布式查询模块，包括查询监控器、查询规划器和查询执行器；其中查询监控器用于监控查询工作负载，将查询工作负载定期分发给频繁模式挖掘器；查询规划器用于设计分布式查询计划，对SPARQL查询应用代数优化和连接顺序优化后，生成逻辑查询计划；查询执行器，通过SparkSQL生成相应的物理查询计划，进行查询计算。

2.根据权利要求1所述的基于增量重划分的分布式RDF系统，其特征在于：所述的关系存储模式库包括哈希划分、垂直划分、扩展垂直划分、属性表。

3.根据权利要求1或2中所述的基于增量重划分的分布式RDF系统的查询优化方法，其特征在于：包括如下步骤：

(1)清洗RDF数据集；

(2)基于混合关系模式存储RDF数据；

(3)设计分布式查询计划；

(4)执行分布式查询计划；

(5)对RDF数据进行增量重划分。

4.根据权利要求3所述的基于增量重划分的分布式RDF系统的查询优化方法，其特征在于：所述的步骤(1)具体包括如下步骤：

(11)对待转化格式的数据集进行格式转换，将数据集批量转化为N-Triples格式；

(12)将格式转化后的数据集输入正则语法分析器，过滤空行、冗余数据、本体描述信息无用信息后，将RDF数据转化为前缀格式。

5.根据权利要求3所述的基于增量重划分的分布式RDF系统的查询优化方法，其特征在于：所述的步骤(2)具体包括如下步骤：

(21)通过存储模式选择器，选择基于哈希划分和垂直划分的混合存储模式；

(22)通过存储执行器，将存储模式选择器筛选出的存储方案，按相应的存储模式依次执行RDF数据加载，实现对RDF数据的初始划分；

其中，步骤(22)的具体过程如下：

1)基于RDF三元组主语对初始数据进行哈希划分，形成哈希分片；

2)在各个哈希分片上使用垂直划分的方式完成RDF数据的初始划分。