[发明专利]一种分布式环境下避免全局排序的海量数据分页查询方法

摘要

本发明涉及一种分布式环境下避免全局排序的海量数据分页查询方法。该方法包括索引构建和分页检索。其中索引构建方法包括：1)根据待排序的不同属性，将数据复制成相应的份数；2)根据待排序的属性对相应的每一份数据进行排序，并将排序后的每一份数据保存在不同的文件夹；3)将每一份数据拆分成多个数据文件，每个数据文件分配一个唯一的索引编号IndexNo；4)对每一个数据文件添加一列，该列的值与数据文件的索引编号IndexNo相同；5)根据数据文件构建索引文件，索引文件的每一条记录描述一个数据文件的信息。针对排序列分页检索，本发明可以避免全局排序和大量数据结果收集；针对条件列过滤，本发明可以避免全局数据扫描。

主权项

一种分布式环境下海量数据的索引构建方法，其步骤包括：1)根据待排序的不同属性，将数据复制成相应的份数；2)根据待排序的属性对相应的每一份数据进行排序，并将排序后的每一份数据保存在不同的文件夹；3)将每一份数据拆分成多个数据文件，拆分规则是：从第一条数据开始每M条数据保存成一个数据文件，每个数据文件分配一个唯一的索引编号IndexNo，索引编号IndexNo从1开始依次累加分配；4)对步骤3)形成的每一个数据文件添加一列，该列的值与数据文件的索引编号IndexNo相同；5)根据数据文件构建索引文件，索引文件的每一条记录描述一个数据文件的信息，包括索引编号IndexNo、最小值、最大值、数据条数总和、所在磁盘路径。