[发明专利]一种基于LSM高效查询流数据的分布式索引方法及系统

摘要

本发明公开了一种基于LSM高效查询流数据的分布式索引方法及系统，首先对数据进行批量更新；然后对采样数据块进行排序并划分区间；接着对每个数据分区采用改进后的R树生成算法建立局部索引；最后各个数据分区中的数据及其局部索引由主节点分配到各个子节点中进行存储，主节点根据各个局部索引的根节点建立全局索引，全局索引直接存储在主节点中。本发明建立局部索引的过程中采取对R树进行改进的方法，改为动态插入数据的方式，全局索引使用频繁且数据量较小，存储在主节点中，由此可以极大提升查询数据的效率。