[发明专利]日志分析方法、装置、设备及可读存储介质

权利要求书

1.一种日志分析方法，其特征在于，包括如下步骤：

S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

S20：提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、日志数据的类型及其对应的数据流管道配置；根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据与配置信息打包上传至所述消息队列；其中，所述消息队列为Kafka集群的消息队列；

S30：获取需要消费的消息队列和数据流管道配置；根据所述日志采集任务对所述消息队列中的日志数据进行消费，根据配置信息和日志数据生成对应的日志元数据；将所述日志元数据发送至对应的日志集合；

S40：根据所述日志元数据，生成日志分析结果。

2.根据权利要求1所述的日志分析方法，其特征在于，所述S10步骤包括：

接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；

根据更新后的日志采集任务信息生成日志采集任务；

根据所述日志采集任务创建所述目标信息集合。

3.根据权利要求2所述的日志分析方法，其特征在于，所述接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息，包括：

根据所述日志采集请求确定对应的日志采集节点实例；

注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

将所述日志元数据发送至对应的日志集合。

4.根据权利要求1所述的日志分析方法，其特征在于，在所述将所述日志元数据发送至对应的日志集合之后，还包括：

根据所述数据流管道配置获取所述日志集合对应的数据流管道；

根据预设运行顺序运行所述数据流管道中的插件，对所述日志元数据进行数据流处理。

5.根据权利要求1所述的日志分析方法，其特征在于，所述S40步骤包括：

从所述日志集合中获取目标日志元数据，并对所述目标日志元数据进行ES持久化处理；

对ES持久化处理后的目标日志元数据进行日志分析，生成日志分析结果。

6.一种日志分析装置，其特征在于，包括：

采集任务模块，用于获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

日志采集模块，用于提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、日志数据的类型及其对应的数据流管道配置；根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据与配置信息打包上传至所述消息队列；其中，所述消息队列为Kafka集群的消息队列；

日志消费模块，用于获取需要消费的消息队列和数据流管道配置；根据所述日志采集任务对所述消息队列中的日志数据进行消费，根据配置信息和日志数据生成对应的日志元数据；将所述日志元数据发送至对应的日志集合；

日志分析模块，用于根据所述日志元数据，生成日志分析结果。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的日志分析方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的日志分析方法的步骤。