[发明专利]基于硬盘和内存的列式存储和查询方法及设备

摘要

本申请提供一种基于硬盘和内存的列式存储和查询方法及设备，通过创建数据源对应的数据表的元信息，在内存中对数据源创建数据表的结构，根据所述元信息把当前的数据行生成为一个列式数据块并存储到硬盘，能够更加有效地使用内存，实现后续在硬盘上查询数据的性能达到与在内存上查询数据相近的性能，能够进一步支持后续以高速的查询效率为基础的强大的数据分析能力。进一步的，所述列为索引列时，通过对每个索引列建立一个倒排索引，并采用RadixTree结构将索引列存储到固态硬盘的对应位置的文件中，能够提高后续数据查询的效率。

主权项

1.一种基于硬盘和内存的列式存储方法，其中，包括：创建数据源对应的数据表的元信息，元信息包含每个数据表所包含的所有文件在硬盘上的所在位置信息；在硬盘中创建数据表的结构，包括文件的结构和组成所述文件的列式数据块的结构，所述列式数据块的结构包括列和对于应于每列的过滤器，每个列式数据块的大小最大范围为最多包含不超过Short类型所表示的数据行数；每当内存中数据源的数据的行数等于一个列式数据块的大小最大范围时，根据所述元信息把当前的数据行生成为一个列式数据块并存储到硬盘的对应位置的文件中，更新对应数据表的元信息，其中，当所述列还包括索引列时，把当前的数据行生成为一个列式数据块并存储到硬盘的对应的文件中包括：对每个索引列建立一个倒排索引，并采用RadixTree结构将索引列存储到硬盘的对应位置的文件中；当所述列包括非索引列时，根据所述元信息把当前的数据行生成为一个列式数据块并存储到硬盘的对应位置的文件中包括：采用编码压缩的方式将非索引列存储到硬盘的对应位置的文件中，所述编码压缩的方式包括字典编码，及采用Run‑Length编码或Delta编码对字典编码后的每个列式数据块进行进一步压缩。