[发明专利]一种通用的日志范化模型配置方法和装置

说明书

本发明公开了一种通用的日志范化模型配置方法和装置，所述方法包括以下步骤：获取待范化日志信息；从预置范化策略库中按照预设顺序选择预置范化策略，以所述预置范化策略作为当前预置范化策略；基于所述当前预置范化策略，对所述待范化日志信息进行范化处理以得到当前范化结果；按照预设顺序依次选择预置范化策略作为当前预置范化策略，并重复步骤：基于所述当前预置范化策略，对所述待范化日志信息进行范化处理以得到当前范化结果，提供了一种通用性和易用性的范化策略，根据用户需要自动设置不同范化策略和赋值方式，满足不同用户的需求。

技术领域

本发明涉及信息技术领域，特别涉及一种通用的日志范化模型配置方法和装置。

背景技术

目前大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。

大数据的业务往往涉及多个产品项目，不同产品项目，其所产生的原始日志是不同的，而不同原始日志中的日志字段和表达也是不同的。现有技术中，日志接入系统只能对原有的产品项目的原始日志进行识别处理，当有新的产品项目的原始日志接入时，需要重新开发一套能识别该原始日志的日志字段和表达的链路，导致开发成本较大，日志范化是将不同格式、不同字段、不同含义的日志记录映射为产品统一字段值的过程，因此需要新的日志管理方法解决现有技术存在的问题。

发明内容

针对现有技术的上述问题，本发明的目的在于，提供一种通用的日志范化模型配置方法和装置，能提高对不同类型日志的处理能力。

为了解决上述技术问题，本发明的具体技术方案如下：

一方面，本发明提供一种通用的日志范化模型配置方法，其特征在于，包括以下步骤：

获取待范化日志信息；

从预置范化策略库中按照预设顺序选择预置范化策略，以所述预置范化策略作为当前预置范化策略；

基于所述当前预置范化策略，对所述待范化日志信息进行范化处理以得到当前范化结果；

按照预设顺序依次选择预置范化策略作为当前预置范化策略，并重复步骤：基于所述当前预置范化策略，对所述待范化日志信息进行范化处理以得到当前范化结果。

进一步地，所述从预置范化策略库中按照预设顺序选择预置范化策略，以所述预置范化策略作为当前预置范化策略之前还包括：

建立预置范化策略库，所述预置范化策略库包括多组预置范化策略。

进一步地，所述建立预置范化策略库包括：

基于所述待范化日志信息，确定待范化日志类型；

基于所述待范化日志类型，获取与所述待范化日志类型相匹配的正则表达式；

通过所述正则表达式对所述待范化日志信息进行范化处理得到字段提取值；

基于预设字段赋值方式，对所述字段提取值进行赋值已得到范化结果。

进一步地，所述通过所述正则表达式对所述待范化日志信息进行范化处理得到字段提取值包括：

基于所述正则表达式，获取字段索引；

基于所述字段索引，通过所述正则表达式对所述待范化日志信息进行范化处理得到字段提取值，其中所述字段提取值与所述字段索引相对应。

进一步地，所述预设字段赋值方式包括以下中的一种或几种：直接赋值、映射表赋值、格式化赋值、函数赋值和正则表达式。

进一步地，所述预置范化策略库包括至少一个预定义策略管理组和至少一个自定义策略管理组。

进一步地，所述方法还包括：