[发明专利]一种内存-闪存混合存储模式下的OLAP查询优化方法

摘要

本发明涉及一种内存-闪存混合存储模式下的OLAP查询优化方法，其包括：OLAP存储采用flash-aware的存储模型，在相对较小的DRAM和相对较大flash存储之间按数据访问的局部性进行划分，在异构的两级内存上进行存储优化；内存OLAP采用数组存储，每个属性列存储于连续的数组单元中，将传统的连接操作简化为数组下标访问，进行AIR算法的OLAP查询处理；其中AIR为数组下标访问；将基于数组存储和AIR算法的OLAP查询处理分解为三个顺序的数据访问过程；通过选择向量访问flash存储度量列指定度量值；采用在基于关键字的位图连接索引的基础上在DRAM-flash两级存储中优化存储K个关键字连接位图，形成二级连接位图索引结构。本发明能提高内存存储性价比、内存和CPU使用效率以及数据存储效率，能广泛应用于通用OLAP应用场景中。

主权项

一种内存‑闪存混合存储模式下的OLAP查询优化方法，其包括以下步骤：1)OLAP存储采用flash‑aware的存储模型，即根据OLAP星形或雪花形模型中维表较小、谓词操作较多的特点和事实表由外键和度量属性组成的特点，在相对较小的DRAM和相对较大flash存储之间按数据访问的局部性进行划分，在异构的两级内存上进行存储优化；2)内存OLAP采用数组存储，每个属性列存储于连续的数组单元中，表由相同长度的各属性数组组成，维表使用数组下标作为主键，事实表外键为维表中相应记录的数据下标，事实表记录能够根据外键值直接定位维表中对应的数组单元，将传统的连接操作简化为数组下标访问，进行AIR算法的OLAP查询处理；其中AIR为数组下标访问；3)将基于数组存储和AIR算法的OLAP查询处理分解为三个顺序的数据访问过程：维表访问、事实表外键访问和事实表度量属性访问，三个阶段产生的中间数据结构包括：维表过滤分组向量、选择向量和分组向量、分组多维数组；维表过滤分组向量、选择向量和分组向量为各个查询共用的数据结构，不同的查询只需要更新向量的内容，分组多维数组根据查询的不同而动态生成；4)采用在基于关键字的位图连接索引的基础上在DRAM‑flash两级存储中优化存储K个关键字连接位图，从中选择n个高频访问关系字并将相应的位图存储于DRAM，其余的位图存储于flash，形成二级连接位图索引结构。