[发明专利]用于海量日志查询的流式数据处理方法和系统

权利要求书

1.一种用于海量日志查询的流式数据处理方法，其特征在于，包括以下步骤：

客户端建立客户端查询线程，向服务端发送日志查询请求；

所述服务端根据所述查询请求，建立流式对象缓冲区，其中，所述流式对象缓冲区包括读取流句柄和写入流句柄；

所述服务端建立服务端查询线程以执行数据查询任务；

所述服务端将所述流式对象缓冲区的所述读取流句柄返回给所述客户端；

所述客户端获得所述服务端的所述流式对象缓冲区的所述读取流句柄的引用，利用所述读取流句柄读取所述流式对象缓冲区中的数据，当读到流结束标志时关闭所述读取流句柄；以及

所述服务端释放所述流式对象缓冲区的数据。

2.根据权利要求1中所述的用于海量日志查询的流式数据处理方法，其特征在于，在客户端建立客户端查询线程，向服务端发送日志查询请求的所述步骤包括：

所述客户端建立所述客户端查询线程；

所述客户端查询线程建立流式传输客户端实例并返回操作句柄；

所述客户端查询线程将查询条件设置在所述操作句柄中；

所述客户端查询线程通过所述操作句柄，向所述服务端发起所述日志查询请求。

3.根据权利要求2中所述的用于海量日志查询的流式数据处理方法，其特征在于，所述服务端建立服务端查询线程以执行数据查询任务的所述步骤包括：

根据所述日志查询条件，所述服务端查询线程向海量日志数据库发出数据查询请求；

所述海量日志数据库解析所述数据查询请求，生成查询结果集；

所述服务端查询线程获取所述查询结果集的句柄；

所述服务端查询线程循环遍历所述结果集句柄，读取结果记录并组成数据对象，写入所述流式对象缓冲区；

当所述服务端查询线程处理结果集的最后一条记录之后，关闭所述流式对象缓冲区的流写入标志，退出所述服务端查询线程。

4.根据权利要求2或3中所述的用于海量日志查询的流式数据处理方法，其特征在于，所述客户端查询线程为所述客户端线程池中的空闲线程，所述服务端查询线程为所述服务端线程池中的空闲线程。

5.根据权利要求3中所述的用于海量日志查询的流式数据处理方法，其特征在于，在所述服务端查询线程循环遍历所述结果集句柄，读取结果记录并组成数据对象，写入所述流式对象缓冲区的所述步骤中，如果所述流式对象缓冲区已满，则所述服务端查询线程将被阻塞；当所述流式对象缓冲区的数据被读取并出现空闲数据区后，所述服务端查询线程将被唤醒并继续运行。

6.根据权利要求3中所述的用于海量日志查询的流式数据处理方法，其特征在于，如果所述读取流句柄的关闭时，还未退出所述服务端查询线程，将触发所述服务端查询进程的退出。

7.一种用于海量日志查询的流式数据处理系统，其特征在于，包括客户端、服务端和海量日志数据库，所述客户端包括查询请求模块和数据读取模块，所述服务端包括流式对象缓冲区建立模块、查询执行模块和数据释放模块，其中，

所述查询请求模块用于建立客户端查询线程，向服务端发送日志查询请求；

所述流式对象缓冲区建立模块用于根据所述查询请求，建立流式对象缓冲区，其中，所述流式对象缓冲区包括读取流句柄和写入流句柄；

所述查询执行模块用于建立服务端查询线程以执行数据查询任务；

所述数据读取模块用于引用所述服务端的所述流式对象缓冲区的所述读取流句柄，利用所述读取流句柄读取所述流式对象缓冲区中的数据，当读到流结束标志时关闭所述读取流句柄；

所述数据释放模块用于释放所述流式对象缓冲区的数据。

8.根据权利要求7中所述的用于海量日志查询的流式数据处理系统，其特征在于，所述查询请求模块包括：

客户端查询进程建立单元，用于建立所述客户端查询线程；

操作句柄建立单元，用于建立流式传输客户端实例并返回操作句柄，将查询条件设置在所述操作句柄中；

查询请求发送单元，用于通过所述操作句柄向所述服务端发起所述日志查询请求。