[发明专利]一种海量数据实时排序优化方法

说明书

本发明公开了一种海量数据实时排序优化方法。本方法为：1)设置一集群级节点、若干节点级节点和若干文件级节点；2)集群级节点将收到的检索排序请求发送给各节点级节点，各节点级节点将该检索排序请求发送给本节点的文件级节点；3)各文件级节点根据该检索排序请求，将与本节点相关的日志文件排序后输出有序数据给节点级节点；4)各节点级节点根据该检索排序请求将本节点上符合时间范围和分区条件的日志数据排序后输出给该集群级节点；5)该集群级节点将各节点级节点发送过来的有序数据流进行排序汇总。在任意的排序场景中，本方法都能有效降低内存使用量。

技术领域

本发明涉及数据查询优化领域，是一种针对海量数据实时排序的优化方法。

背景技术

由于日志数据之间一般都存在时序关系，这就要求检索引擎一方面能以秒级响应的性能获得满足业务用户需求的数据，另一方面还需要在获取数据时保持这种时序关系，即需要检索引擎支持面向海量日志数据的秒级排序功能。

按照传统的排序方法，检索引擎需要获取所有满足条件的数据后才能进行排序并返回结果，这在结果集较大的情况下将无法实现秒级响应，另一方面由检索引擎缓存所有中间结果也将消耗大量的系统资源，从而影响检索引擎服务的整体性能。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种海量数据实时排序优化方法。本发明提出针对海量日志数据的多级流水排序方法，该方法通过文件级、节点级、集群级三级流水排序的方式，一方面保证了首批结果集的响应时间，另一方面各级排序不用缓存所有中间结果，从而降低了检索引擎排序所需的内存资源。

本发明的技术方案为：

一种海量数据实时排序优化方法，其步骤为：

1)设置一集群级节点、若干节点级节点和若干文件级节点；其中，集群级节点为接入检索排序请求的服务器节点，节点级节点为响应检索排序请求的服务器节点，文件级节点为节点级节点内部的文件排序进程；

2)集群级节点将收到的检索排序请求发送给各节点级节点，各节点级节点将该检索排序请求发送给本节点的文件级节点；

3)各文件级节点根据该检索排序请求，将与本节点相关的日志文件排序后输出有序数据给节点级节点；

4)各节点级节点根据该检索排序请求将本节点上符合时间范围和分区条件的日志数据排序后输出给该集群级节点；

5)该集群级节点将各节点级节点发送过来的有序数据流进行排序汇总。

进一步的，所述节点级节点根据该检索排序请求确定需要排序的文件集合，然后为该文件集合中每一待排序文件分配一文件级节点；然后该文件级节点查询对应待排序文件中符合该检索排序请求的日志数据，并将其排序后发送给所述节点级节点。

进一步的，所述节点级节点将其包含的文件级节点按时间区间合并成多个组，同一组文件级节点对应的文件属于同一时间区间；所述节点级节点依次从各组文件级节点获取所述有序数据进行排序后发送给所述集群级节点。

进一步的，所述集群级节点将各节点级节点发送过来的有序数据流进行实时排序汇总后输出。

进一步的，每一文件级节点维护一缓冲区，每一节点级节点维护一待排序数据缓冲区和一待输出数据缓冲区，所述集群级节点维护一缓冲区。

进一步的，各文件级节点将排好序的数据放入其缓冲区中；所述节点级节点通过拉取模式不断从文件级节点的缓冲区中获取数据存入自己的待排序缓冲区中，并将排好的数据放入自己的待输出数据缓冲区的输出流中。