[发明专利]日志分析方法、装置、设备及可读存储介质

说明书

本申请提出了一种日志分析方法、装置、设备及可读存储介质。该方法包括：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；根据所述日志采集任务采集日志数据，并上传至消息队列；根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；根据所述日志元数据进行分析，生成日志分析结果。本申请通过对不同节点的日志进行聚合分析处理，可以对日志进行统一的分析和查看，无需逐个节点查看日志，从而提高日志采集和分析的效率。

技术领域

本申请涉及计算机及数据处理技术领域，具体涉及一种日志分析方法、装置、设备及可读存储介质。

背景技术

如今，随着通信技术和互联网技术的飞速发展，在给人们的生活带来极大的便利的同时，也带来了严峻的网络安全威胁问题。例如垃圾邮件、挖矿病毒、勒索病毒、分布式拒绝服务(Distributed Denial-of-Service，DDOS)攻击乃至高级持续性威胁(AdvancedPersistent Threat，APT)攻击，都给网络安全建设提出了很高的挑战。目前无论是入侵检测、攻击溯源还是安全运营等都依赖于对海量日志的分析，包括访问日志、系统日志、审计日志等。

在构思及实现本申请过程中，发明人发现至少存在如下问题：常用的日志采集工具资源消耗过于庞大，不仅依赖性能繁重和配置麻烦，部署时较为麻烦，并且使用限制过多，灵活性和实用性较低，无法满足用户实际使用需求。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种日志分析方法、装置、设备及可读存储介质，通过对日志进行聚合分析处理，从而提高日志采集和分析的效率。

为解决上述技术问题，本申请提供一种日志分析方法，至少包括如下步骤：

S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；

S20：根据所述日志采集任务采集日志数据，并上传至消息队列；

S30：根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；

S40：根据所述日志元数据进行分析，生成日志分析结果。

可选地，所述S10步骤可以包括：

接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；

根据更新后的日志采集任务信息生成日志采集任务；

根据所述日志采集任务创建所述目标信息集合。

可选地，所述接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息，包括：

根据所述日志采集请求确定对应的日志采集节点实例；

注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。

可选地，所述S20步骤可以包括：

提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、采集日志数据的类型及其对应的数据流管道配置；

根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据上传至所述消息队列。

可选地，所述S30步骤可以包括：

获取需要消费的消息队列和数据流管道配置；

根据所述日志采集任务对所述消息队列中的日志数据进行消费，并生成对应的日志元数据；