[发明专利]分布式顺序表片内二级索引方法及系统

摘要

本发明公开了一种分布式顺序表片内二级索引方法及系统，其中系统包括，索引布局管理模块，为每个数据存储文件创建对应的索引存储文件；一致性更新模块，写入数据时，先将该数据写入预写日志中，再写入内存存储中，若该内存存储中该数据部分丢失，将该预写入日志中未成功写入磁盘上的该数据重新写入该内存存储中；内存存储刷写模块，若该内存存储存量达到某阈值，先生成该内存存储中类型不为“删除”的数据记录对应的索引记录，并刷写该索引记录到该磁盘上生成该索引存储文件，再生成数据存储文件；合并和分裂模块，索引存储文件随着数据存储文件一起合并和分裂，保证两者的一致性；多维区间查询模块，对每个数据分片单独查询，一次查询可使用多列索引。

主权项

一种分布式顺序表片内二级索引方法，其特征在于，包括如下步骤：S1索引布局管理步骤，为分布式顺序表的每个数据分片中的每个数据存储文件创建对应的索引存储文件，该索引存储文件存储列名、列值、主键；S2一致性更新步骤，向该分布式顺序表写入数据时，先将该数据写入预写日志中，再写入内存存储中，若该内存存储中该数据部分丢失，将该预写入日志中未成功写入磁盘上的该数据重新写入该内存存储中；S3内存存储刷写步骤，若该内存存储存量达到某阈值，先生成该内存存储中类型不为“删除”的数据记录对应的索引记录，并刷写该索引记录到该磁盘上生成该索引存储文件，再刷写该数据记录到磁盘上生成该数据存储文件；S4合并和分裂步骤，在数据分片合并时，先将多个索引存储文件合并成一个新的索引存储文件，再将对应的多个数据存储文件合并成一个新的数据存储文件；以及在该数据片按照某主键分裂成两个新数据分片时，首先将该数据分片内的每个索引存储文件按照该主键分裂成两个新索引存储文件后分别加入到所述两个新数据分片中，然后再把该数据分片内的每个数据存储文件按照该主键分裂成两个新数据存储文件后分别加入到所述的两个新的数据分片中；S5多维区间查询步骤，对该分布式顺序表进行多维区间查询时，按照查询条件对每个数据分片单独查询，查询时对该查询条件进行预处理得到索引查询条件，再依次单独查询每列索引、合并多列索引查询结果、读取满足该索引查询条件的该些数据作为最终查询结果。