[发明专利]一种面向大规模数据的索引方法及其系统

摘要

本发明公开了一种面向大规模数据的索引方法，包括构建索引结构阶段与查询阶段；构建索引结构阶段中根据原始数据生成索引结构；查询阶段根据索引结构获得相应的原始数据；原始数据中包括至少一个由数据元组组成的数据块；索引结构包括叶子层索引和根层索引，叶子层索引包含一层叶子层索引文件，叶子层索引文件中包含至少一个叶子层数据块；根层索引包括中间层索引，中间层索引包含至少一层中间层索引文件，中间层索引文件中包含至少一个中间层数据块。本发明解决了利用MapReduce框架查询大数据时响应时间过慢等问题，通过在MapReduce框架中引入索引机制来提升查询性能。本发明还公开了一种面向大规模数据的索引系统。

主权项

一种面向大规模数据的索引方法，其特征在于，包括构建索引结构阶段与查询阶段；所述构建索引结构阶段根据原始数据生成索引结构；所述查询阶段根据所述索引结构获得相应的所述原始数据；其中，所述原始数据至少包括一个由数据元组组成的数据块；所述索引结构包括叶子层索引与根层索引；所述叶子层索引包含一层叶子层索引文件，所述叶子层索引文件中包含至少一个叶子层数据块；所述根层索引位于叶子层索引之上，包括中间层索引，所述中间层索引包含至少一层中间层索引文件，所述中间层索引文件中包含至少一个中间层数据块；所述构建索引结构阶段包括：步骤一：利用空间拟合曲线计算所述原始数据中的每一个数据元组的转换值及所在数据块的地址信息；根据所述转换值利用MapReduce框架对所述数据元组排序，所述排序后的数据元组结合所述地址信息发送至所述叶子层；步骤二：在所述叶子层索引中划分所述数据元组获得所述叶子层数据块，并生成所述叶子层索引文件作为所述叶子层索引，并将所述叶子层索引文件中的叶子层数据块输出至所述根层索引；步骤三：在所述根层索引中根据所述叶子层数据块获得所述中间层数据块，并生成所述中间层索引文件作为所述中间层索引。