[发明专利]一种基于列存储模型的连接顺序查询优化方法

说明书

技术领域

本发明涉及一种基于列存储的连接顺序查询优化方法。

背景技术

随着信息时代数据量的爆炸式增长，在海量数据分析处理的需求驱动下，数据仓库、数据挖掘、决策支持等分析型应用迅速发展。此类应用的特点是数据量大，查询密集，更加关注属性而非实体。列存储技术在物理上以列为单位对数据表进行拆分，将相同列的数据连续存储，在查询过程中只需读入查询相关列，避免不相干数据的读入，从而能够极大程度地提高分析型查询的效率。

但是，数据组织结构的改变使列存储系统避免操作无关列数据的同时，带来了新的问题。由于上层逻辑数据模型与物理存储模型之间的不一致性，列存储系统在查询执行过程中需要连接相关列，将其组织成最终的结果返回给用户。查询的相关列越多，列之间的连接操作也越复杂，将耗费不小的开销。查询优化在数据库领域一直占有重要的地位，然而现有列存储系统多数通过优化底层数据组织结构或者建立辅助物理结构以适应上层查询，在早期查询优化阶段，很少考虑列存储的特性，因此难以保证能够获得“最佳”的优化结果。如何尽早根据列存储的特点进行查询优化，特别是对连接顺序进行优化，成为一项迫切需要解决的任务。

发明内容

本发明的目的是提供一种基于列存储模型的连接顺序查询优化方法，以获得在分析型应用下效率更高的查询执行计划。

为了达到上述本发明的目的，本发明的技术方案是提供了一种基于列存储模型的查询优化方法，其特征在于，步骤为：

步骤1、接收用户按关系表进行的SQL查询输入，记为select L from R₁，...，R_m where∧/∨(A₁，......A_n)。其中R_i为关系表，L是关系的属性集，A₁，......，A_n是由与节点或者或节点连接的谓词；

步骤2：将上述SQL语句转换为按二元表进行的查询，记为select L from(K₁×K₂×......)where∧/∨(A₁，......A_n)，其中，K_i是查询相关的列；

步骤3、初始的逻辑查询计划树生成；

步骤4、为步骤3中产生的逻辑查询计划树进行同表连接顺序优化；

步骤5、根据逻辑查询计划树中保存的连接信息为每个关系表登记连接关系集J；

步骤6、根据关系集J判断关系表的类型，与多个表存在连接关系的为事实表，其余的为维表；

步骤7、单事实表连接顺序优化；

步骤8、多事实表连接顺序优化。

优选地，步骤3具体包括：

步骤3.1、利用关系代数等价变换规则将作用于同列的一元谓词进行下推并合并；

步骤3.2、将同表的一元谓词结点集通过与节点或者或节点自底向上依次连接成一棵左深逻辑查询子树，为每个表形成单表查询子树；

步骤3.3、将步骤3.2中产生的所有单表查询子树用JOIN结点自底向上依次连接成一棵完整的逻辑查询计划树，将不同表列之间的连接条件存储到相应JOIN结点中。

优选的，步骤4对逻辑查询树中的每棵单表查询子树进行连接顺序优化，具体为将产生最小中间结果的结点置于单表查询子树的最左下端。

优选的，步骤7具体为：对于每个事实表与其关联的维表，将事实表的逻辑查询子树下推到查询树底层，根据连接选择性从优到劣依次连接与该事实表连接的各维表的逻辑查询子树，形成一棵左深逻辑查询子树。

优选的，步骤8具体为：将步骤7中产生的左深逻辑查询子树用JOIN结点连接成一棵紧密树，并根据维表重复情况将相关单事实表查询树中的相应连接条件转移到JOIN结点中。

本发明的优点是：根据列存储数据组织的特点和分析型查询需求的特征，提供一种基于列存储模型的连接顺序查询优化方法，生成的查询计划能够尽可能减少数据抽取代价以及每一步连接时的中间结果，以获得效率更高的查询执行策略。

附图说明

图1为单表查询子树示意图；

图2为逻辑查询计划树示意图。

具体实施方式

为使本发明更明显易懂，兹以一优选实施例详细说明如下。

本发明提供了一种基于列存储模型的查询优化方法，其步骤为：