[发明专利]日志数据处理方法和装置、分布式计算系统以及存储介质

说明书

提供了一种基于流式计算框架的日志数据处理方法、日志数据处理装置、分布式计算系统和计算机可读存储介质。该日志数据处理方法包括：将从数据源按批次读取的日志数据流进行解析；对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；使用针对相应M个指标的M个过滤器并行地对经过滤的日志数据进行第二过滤操作，以得到截至当前批次的日志数据针对M个指标的统计结果，其中，第二过滤操作不同于第一过滤操作，并且M为大于等于1的整数；以及缓存经第二过滤操作的M个过滤器和得到的针对M个指标的统计结果，以用于处理下一批次的日志数据。

技术领域

本公开涉及云计算技术领域，具体涉及一种基于流式计算框架的日志数据处理方法、日志数据处理装置、分布式计算系统、计算机可读存储介质及计算机程序产品。

背景技术

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

发明内容

本公开提供了一种基于流式计算框架的日志数据处理方法、日志数据处理装置、分布式计算系统、计算机可读存储介质及计算机程序产品。

根据本公开的一方面，提供了一种基于流式计算框架的日志数据处理方法，包括：将从数据源按批次读取的日志数据流进行解析；对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；使用针对相应M个指标的M个过滤器并行地对所述经过滤的日志数据进行第二过滤操作，以得到截至所述当前批次的日志数据针对所述M个指标的统计结果，其中，所述第二过滤操作不同于所述第一过滤操作，并且M为大于等于1的整数；以及缓存经所述第二过滤操作的所述M个过滤器和得到的针对所述M个指标的所述统计结果，以用于处理下一批次的日志数据。

根据本公开的另一方面，提供了一种基于流式计算框架的日志数据处理装置，包括：解析模块，用于将从数据源按批次读取的日志数据流进行解析；第一过滤模块，用于对经解析的当前批次的日志数据进行第一过滤操作，以得到经过滤的日志数据；第二过滤模块，用于使用针对相应M个指标的M个过滤器并行地对所述经过滤的日志数据进行第二过滤操作，以得到截至所述当前批次的日志数据针对所述M个指标的统计结果，其中，所述第二过滤操作不同于所述第一过滤操作，并且M为大于等于1的整数；以及缓存模块，用于缓存经所述第二过滤操作的所述M个过滤器和得到的针对所述M个指标的所述统计结果，以用于处理下一批次的日志数据。

根据本公开的又另一方面，提供了一种分布式计算系统，包括：一个或多个存储器；一个或多个处理器；以及存储在所述一个或多个存储器上的计算机程序。所述一个或多个处理器被配置为执行所述计算机程序以实现上述任一方面所述的方法。

根据本公开的又另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一方面所述的方法。

根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一方面所述的方法。

根据本公开的一个或多个实施例，由于在第二过滤操作之前预先进行第一过滤操作，并且在第二过滤操作中进行并行计算，可以提高日志数据处理效率。另外，在一个批次的日志数据中通过各类过滤器进行过滤，可以同时统计所有指标，从而实现多维度计算。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。