[发明专利]日志数据处理方法和装置、分布式计算系统以及存储介质

权利要求书

1.一种基于流式计算框架的日志数据处理方法，包括：

将从数据源按批次读取的日志数据流进行解析；

对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；

使用针对相应M个指标的M个过滤器并行地对所述经过滤的日志数据进行第二过滤操作，以得到截至所述当前批次的日志数据针对所述M个指标的统计结果，其中，所述第二过滤操作不同于所述第一过滤操作，并且M为大于等于1的整数；以及

缓存经所述第二过滤操作的所述M个过滤器和得到的针对所述M个指标的所述统计结果，以用于处理下一批次的日志数据。

2.根据权利要求1所述的方法，其中，所述流式计算框架包括驱动器进程和多个执行器进程，其中，所述驱动器进程被配置为向所述多个执行器进程分配任务，并且所述多个执行器进程被配置为执行所分配的任务并向所述驱动器进程返回执行结果。

3.根据权利要求2所述的方法，其中，所述解析、所述第一过滤操作、所述第二过滤操作和所述缓存由所述多个执行器进程执行，

其中，所述M个过滤器中的每个过滤器中的过滤器数据被预先切分为N组过滤器数据，以形成N个子过滤器，每个子过滤器包括所述M个过滤器中的每个过滤器中的所述N组过滤器数据中的对应一组，并且

其中，所述并行地对所述经过滤的日志数据进行第二过滤操作包括：

根据所述经过滤的日志数据包含的多条日志数据各自的唯一标识，将所述多条日志数据切分为N组日志数据，其中，N为大于1的整数；以及

使用所述M个过滤器并行地对所述N组日志数据进行所述第二过滤操作，以得到利用所述当前批次的日志数据更新的N组统计结果，每组统计结果包括针对所述相应M个指标的M个指标统计值。

4.根据权利要求3所述的方法，其中，所述并行地对所述N组日志数据进行所述第二过滤操作包括：

创建与所述N个子过滤器一一对应的N个分区；

建立所述N组日志数据与所述N个子过滤器之间的一一对应关系；

在所述N个分区中的每个分区中：

使用所述N个子过滤器中的一个对应子过滤器对所述N组日志数据中的一组对应日志数据进行基数计算；以及

根据所述基数计算的结果，更新所述N组统计结果中的一组对应统计结果中针对所述相应M个指标的所述M个指标统计值。

5.根据权利要求3所述的方法，其中，所述缓存经所述第二过滤操作的所述M个过滤器和得到的针对所述M个指标的所述统计结果包括：

缓存经所述第二过滤操作的所述M个过滤器中的过滤器数据以及更新的所述N组统计结果。

6.根据权利要求3所述的方法，还包括：由所述驱动器进程执行合并操作，其中，所述合并操作包括：

合并所述N组统计结果中针对相同指标的指标统计值，以得到截至所述当前批次的日志数据针对所述相应M个指标的M个统计结果。

7.根据权利要求4所述的方法，还包括：以预定的时间间隔执行数据检查点操作，其中，所述数据检查点操作包括：

将每个分区中的所述对应子过滤器中的过滤器数据和每个分区中的所述M个指标统计值序列化到分布式文件系统；

保存每个分区中的所述一组对应日志数据；以及

将所述当前批次的日志数据对应的偏移信息存储到分布式应用程序协调服务和所述分布式文件系统中，其中，所述偏移信息指示所述数据源中所述下一批次的日志数据的开始位置和偏移范围。

8.根据权利要求3所述的方法，还包括：

响应于确定数据处理负担超过预定阈值，增大N的值，以使得所述多条日志数据被切分为更多组的日志数据，并且更多个执行器进程被启用。

9.根据权利要求2所述的方法，其中，所述解析和所述第一过滤操作由所述多个执行器进程执行，

其中，所述第二过滤操作和所述缓存由所述驱动器进程执行，并且

其中，所述第二过滤操作由在所述驱动器进程所驻留的节点处启用的线程池并行地执行，以得到针对所述相应M个指标的M个统计结果。