[发明专利]一种支持高效海量数据分析和检索的数据装置及数据存储方法

权利要求书

1.一种支持高效海量数据分析和检索的数据装置，其特征在于，包括若干文件夹，在每一文件夹中包含多个索引分段；每一索引分段包括一全文索引组件、一数据定位模块和一数据存储模块；其中，

全文索引组件，用于存储索引分段中的记录的倒排索引信息；

数据存储模块，包含多个横向分块，每个横向分块包含多个列分片，每个列分片包含多个用于存储数据记录的数据页；

数据定位模块，提供针对数据存储模块的嵌套索引结构，其包括记录的列数、列描述符集合、数据存储模块的压缩模式以及横向分块索引集合；每个横向分块索引存储了横向分块记录起始Id、横向分块位置、各列分片的位置以及列分片索引集合；每个列分片索引记录了列分片中数据页起始位置和数据页索引集合；每个数据页索引记录了数据页所在文件位置和页记录起始Id。

2.如权利要求1所述的数据装置，其特征在于，根据数据定位模块中各横向分块记录起始Id号将有序Id片段划分到各横向分块索引中。

3.如权利要求1或2所述的数据装置，其特征在于，根据全文索引组件中记录的横向分块记录起始Id号，将有序的记录Id集合映射到各索引分段中，每个索引分段包含一个有序Id片段。

4.如权利要求3所述的数据装置，其特征在于，所述数据页存储的数据内容为采用字典编码的数据内容。

5.如权利要求3所述的数据装置，其特征在于，所述数据页存储的数据内容为采用类型感知的数据编码算法编码的数据内容。

6.一种基于权利要求1所述数据装置的数据存储方法，其步骤为：

1)从待存储的记录集合中读取一未存储的记录，获取该记录的Id号及其字段集合，然后为指定字段建立倒排索引，并将构建的倒排索引信息写入全文索引组件；

2)将该字段集合中的每一字段写入数据存储模块对应的列分片中，如果当前写入的数据已满足一数据页，则将该记录的Id号和该记录所在数据存储模块的偏移记录到数据定位模块中；

3)重复步骤1)、2)，如果当前已写入的记录满足一个横向分块的大小，则将该记录的Id号、横向分块位置、横向分块中各列分片位置记录到数据定位模块中，并更新列分片索引集合。

7.如权利要求6所述的方法，其特征在于，步骤3)之后，获取数据量小于设定阈值的横向分块作为待合并的横向分块；如果待合并的横向分块个数为1，则直接将该横向分块追加到一新数据存储模块末端并更新数据定位模块；否则将每一待合并的横向分块对应的列数据追加到一新数据存储模块中，并更新数据定位模块。

8.如权利要求6所述的方法，其特征在于，采用字典缓存机制对待存储的记录集合中的记录进行存储。