[发明专利]一种日志处理方法、装置、设备及介质

说明书

本公开提出了一种日志处理方法、装置、设备、介质，该方法包括：获取到日志数据时，从计数器注册表中查询已注册的计数器信息，并开启redis数据库事务；根据所述计数器信息中的计数器名称、时间粒度和日志数据中与所述计数器信息中的时间属性字段对应的时间信息生成计数器key，其中，所述计数器key表示具体的计数器；从所述日志数据中提取出所述指标属性字段对应的目标信息，并利用所述目标信息更新所述计数器key对应的计数器，结束所述redis数据库事务。这样能够对日志数据进行实时统计，且能够提高日志统计信息的查询响应速度，提高了日志处理的灵活性。

技术领域

本公开涉及数据库技术领域，特别涉及一种日志处理方法、装置、设备、介质。

背景技术

在安全态势感知系统中，每天都要从安全设备采集并存储数十万条安全日志，这些日志数据经过ETL后保存在数据库中，数据的保存时限通常要求在1年以上，其中，ETL，为Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在安全态势感知系统的UI(User Interface，用户界面)上要提供基于日志数据的各类统计图表(如24小时攻击目的地址Top5、7天攻击事件分布趋势等)，以方便安全分析人员分析现网的安全状况，查找高危问题。

由于安全日志的数据量巨大，直接通过SQL(Structured Query Language，结构化查询语言)语句进行查询统计，但是直接通过sql语句进行查询统计响应时间太长，所以目前常用的做法是预先对各种指标定义小时表、天表、月表等统计表，每天定时进行汇总入库，在实际统计时根据不同的时间粒度查询不同的表，响应时间比直接在原始数据表里查询要短。但是，定义不同时间粒度统计表的方式，要求预先定义好数据库表，如果在系统运行中需要新增统计指标，那么要设计新的统计表和新的sql汇总脚本，灵活性较低。且在原始表数据保存时间很长，汇总表数据量也会相应变大时，如果不进行表的拆分，查询效率也会下降，同时由于汇总表是定时更新，不能满足一些实时统计的需求。

发明内容

有鉴于此，本公开的目的在于提供一种日志处理方法、装置、设备、介质，能够对日志数据进行实时统计，且能够提高日志统计信息的查询响应速度，提高了日志处理的灵活性。其具体方案如下：

第一方面，本公开提出了一种日志处理方法，应用于redis数据库，包括：

获取到日志数据时，从计数器注册表中查询已注册的计数器信息，并开启redis数据库事务，其中，所述计数器注册表中的各个计数器用于对所述redis数据库获取到的日志进行统计，所述计数器信息包括计数器名称、时间粒度、时间属性字段以及指标属性字段，所述指标属性字段为所述日志数据中待记录的字段信息；

根据所述计数器名称、所述时间粒度和所述日志数据中与所述时间属性字段对应的时间信息生成计数器key，其中，所述计数器key表示具体的计数器；

从所述日志数据中提取出所述指标属性字段对应的目标信息，并利用所述目标信息更新所述计数器key对应的计数器，结束所述redis数据库事务。

可选地，所述获取到日志数据时，从计数器注册表中查询已注册的计数器信息之前，还包括：

从预设的计数器定义文件中读取所述计数器信息，其中，所述计数器定义文件为YAML格式的文件；

根据所述计数器信息进行计数器注册，并将所述计数器信息存入所述计数器注册表中；

对所述日志数据进行处理，将所述日志数据转换成数据结构统一的数据。

可选地，所述获取到日志数据时，从计数器注册表中查询已注册的计数器信息之前，还包括：