[发明专利]日志数据的提取方法、系统、设备及介质

说明书

本发明提供一种日志数据的提取方法、系统、设备及介质，日志数据的提取方法包括：获取日志记录；在规则库中读取并保存所述日志记录有关的各范化规则，生成规则集合；在所述规则集合中查找是否存在与所述日志记录匹配的范化规则；若存在，则使用匹配的范化规则从所述日志记录中提取对应的日志数据。解决了使用正则表达式匹配日志记录易发生大量回溯，减慢运行速率的问题。

技术领域

本发明涉及日志审计技术领域，具体涉及一种日志数据的提取方法、系统、设备及介质。

背景技术

随着大数据时代和物联网时代的到来，网络已经深入到工作的各个方面。每天网络中都会形成大量的日志，这些日志记录着网络资产的状态及网络服务的操作记录。对日志进行审计和分析能够协助操作人员监控和了解系统的运行状态。

传统的日志审计方式，需要经过日志采集阶段、解析阶段、入库阶段、检索阶段等多个环节。通常在日志采集阶段会对日志进行过滤，以过滤掉不需要统计的日志。然后在解析阶段通过日志审计设备，采用正则表达式的方式把日志中需要解析的字段提取出来，再将解析的字段进行入库和检索等其他阶段。

虽然使用正则表达式来识别数据块具有较好的通用性和扩展性，但在海量数据场景中存在如下缺陷：(1)正则表达式规则性能低下：一般的日志审计设备可以审计多种类型日志，在一些复杂现场可能存在安全设别、网络设备、主机、数据库、中间件、应用系统和虚拟化系统等多种系统，对应的规则有上百种。而将日志依次与上百种规则相匹配，直至找到到合适的规则，并解析出相应的字段非常耗费性能，尤其在正则表达式规则不匹配的情况下，会导致灾难性的正则表达式回溯现象。使得CPU资源大幅上升，影响其他正常功能。(2)高质量正则表达式规则编写对于运维人员的难度较大。因此，需要提供一种日志数据的提取方法、系统、设备及介质。

发明内容

鉴于以上现有技术的缺点，本发明的目的在于提供一种日志数据的提取方法，以改善现有技术中，使用正则表达式匹配日志记录易发生大量回溯，减慢运行速率、编写不规范的问题。

为实现上述目的及其它相关目的，本发明提一种日志数据的提取方法，包括以下过程：

获取日志记录；

在规则库中读取并保存所述日志记录有关的各范化规则，生成规则集合；

在所述规则集合中查找是否存在与所述日志记录匹配的范化规则；

若存在，则使用匹配的范化规则从所述日志记录中提取对应的日志数据。

在本发明一实施例中，所述日志记录中还记载有地址标识，所述地址标识表示所述日志记录的日志源。

在本发明一实施例中，所述在规则库中，读取并保存所述日志记录对应的各范化规则，生成规则集合，包括以下过程：

读取所述日志记录中的地址标识；

在所述规则库中，根据所述地址标识查找所述日志记录的日志源，其中，每个日志源具有多个不同的范化规则；

在所述规则库中，读取并保存所述日志源具有的多个范化规则，生成规则集合。

在本发明一实施例中，所述规则库中还记载有每个范化规则的优先级，所述日志源对应的多个范化规则按照优先级降序的顺序，记载在所述规则集合中。

在本发明一实施例中，所述在所述规则集合中查找是否存在与所述日志记录匹配的范化规则，是将所述规则集合与所述日志记录进行匹配实现的，所述规则集合与所述日志记录匹配的过程为：

S31、在所述规则集合中，选择优先级最高的范化规则作为待匹配范化规则；

S32、判断所述待匹配范化规则是否与所述日志记录匹配；