[发明专利]一种支持高效海量数据分析和检索的数据装置及数据存储方法

说明书

本发明公开了一种支持高效海量数据分析和检索的数据装置及数据存储方法。本装置包括若干文件夹，在每一文件夹中包含多个索引分段；每一索引分段包括一全文索引组件、一数据定位模块和一数据存储模块；全文索引组件用于存储索引分段中的记录的倒排索引信息；数据存储模块，包含多个横向分块，每个横向分块包含多个列分片，每个列分片包含多个用于存储数据记录的数据页；数据定位模块，提供针对数据存储模块的嵌套索引结构，每个横向分块索引存储了横向分块记录起始Id、横向分块位置、各列分片的位置以及列分片索引集合；每个列分片索引记录了列分片中数据页起始位置和数据页索引集合；每个数据页索引记录了数据页所在文件位置和页记录起始Id。

技术领域

本发明属于数据存储组织领域，涉及一种针对海量数据高效响应分析和检索应用场景的数据装置及数据存储方法。

背景技术

现有的海量数据处理技术在给大数据应用提供了有力支撑的同时也面临着技术困难。一方面，尽管数据分析系统在数据顺序读取方面性能出众，但是在处理带有过滤条件的查询场景时明显存在着处理性能不够的情况，而这种情况在过滤条件是全文检索条件时尤为突出；另一方面，融合数据检索和数据分析业务的应用场景在实际应用中比重越来越大，现有解决方案大多运行两套分别面向检索和分析系统来响应这种混合应用场景，然而由于各系统采用了不同的数据存储策略，这样的解决方案不但耗费了大量的存储和计算资源，而且还需要复杂的机制来保证两套系统数据的一致性。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种面向海量数据的数据存储装置及数据存储方法，本发明主要包括三个方面：(1)结合全文索引与列式存储的数据装置。(2)针对该数据装置的合并优化技术。(3)针对该数据装置的随机访问优化技术。

该发明包括以下内容：

1)数据装置的组织框架。

2)依托该数据装置的数据加载流程。

3)数据合并优化技术。

4)依托该数据装置的数据读取流程。

5)针对读取流程的随机访问优化技术。

本发明的技术方案为：

一种支持高效海量数据分析和检索的数据装置，其特征在于，包括若干文件夹，在每一文件夹中包含多个索引分段；每一索引分段包括一全文索引组件、一数据定位模块和一数据存储模块；其中，

全文索引组件，用于存储索引分段中的记录的倒排索引信息；

数据存储模块，包含多个横向分块，每个横向分块包含多个列分片，每个列分片包含多个用于存储数据记录的数据页；

数据定位模块，提供针对数据存储模块的嵌套索引结构，其包括记录的列数、列描述符集合、数据存储模块的压缩模式以及横向分块索引集合；每个横向分块索引存储了横向分块记录起始Id、横向分块位置、各列分片的位置以及列分片索引集合；每个列分片索引记录了列分片中数据页起始位置和数据页索引集合；每个数据页索引记录了数据页所在文件位置和页记录起始Id。

进一步的，根据数据定位模块中各横向分块包含的起止Id号将有序Id片段划分到各横向分块索引中。

进一步的，根据全文索引组件中记录的起止Id号，将有序的记录Id集合映射到各索引分段中，每个索引分段包含一个有序Id片段。

进一步的，所述数据页存储的数据内容为采用字典编码的数据内容。

进一步的，所述数据页存储的数据内容为采用类型感知的数据编码算法编码的数据内容。

一种数据存储方法，其步骤为：