[发明专利]一种海量数据实时排序优化方法

权利要求书

1.一种海量数据实时排序优化方法，其步骤为：

1)设置一集群级节点、若干节点级节点和若干文件级节点；其中，集群级节点为接入检索排序请求的服务器节点，节点级节点为响应检索排序请求的服务器节点，文件级节点为节点级节点内部的文件排序进程；每一文件级节点维护一缓冲区，每一节点级节点维护一待排序数据缓冲区和一待输出数据缓冲区，所述集群级节点维护一缓冲区；

2)集群级节点将收到的检索排序请求发送给各节点级节点，各节点级节点将该检索排序请求发送给本节点的文件级节点；

3)各文件级节点根据该检索排序请求，将与本节点相关的日志文件排序后输出有序数据给节点级节点；其中，各文件级节点将排好序的数据放入其缓冲区中，所述节点级节点通过拉取模式不断从文件级节点的缓冲区中获取数据存入自己的待排序缓冲区中，并将排好序的数据放入自己的待输出数据缓冲区的输出流中；

4)各节点级节点根据该检索排序请求将本节点上符合时间范围和分区条件的日志数据排序后输出给该集群级节点；

5)该集群级节点将各节点级节点发送过来的有序数据流进行排序汇总。

2.如权利要求1所述的方法，其特征在于，所述节点级节点根据该检索排序请求确定需要排序的文件集合，然后为该文件集合中每一待排序文件分配一文件级节点；然后该文件级节点查询对应待排序文件中符合该检索排序请求的日志数据，并将其排序后发送给所述节点级节点。

3.如权利要求2所述的方法，其特征在于，所述节点级节点将其包含的文件级节点按时间区间合并成多个组，同一组文件级节点对应的文件属于同一时间区间；所述节点级节点依次从各组文件级节点获取所述有序数据进行排序后发送给所述集群级节点。

4.如权利要求1或2或3所述的方法，其特征在于，所述集群级节点将各节点级节点发送过来的有序数据流进行实时排序汇总后输出。

5.如权利要求1或2或3所述的方法，其特征在于，所述节点级节点根据该检索排序请求中的时间范围及分区条件，确定出文件级节点，并根据确定出的文件级节点采用剪枝策略对该时间范围和分区条件进行改写后生成新的检索排序请求发送给确定出的对应文件级节点。