[发明专利]一种日志处理方法和装置

说明书

技术领域

本发明涉及网络通信领域，特别涉及一种日志处理方法和装置。

背景技术

随着网络技术的飞速发展，网络中的日志数量越来越多，需要构建日志数据仓库或数据集市，以便将不同格式的日志进行集成对外提供统一的模式。然而在构建数据仓库或数据集市时，并不能将各种不同的日志简单地堆砌在一起，而是要进行萃取和转置。如何对不同格式的日志进行萃取和转置，以及如何兼容因时间推移而产生的各种格式的新老数据，这就需要ETL(Extraction-Transformation-Loading，数据提取、转换和加载)处理。其中，ETL，是负责将分布的、异构数据源中的数据进行清洗、转换、集成，最后加载到数据仓库或数据集市中，为数据分析处理、数据挖掘的基础。

目前，针对日志的ETL处理主要有三种方式：第一种方式针对每种日志格式开发一段代码程序，采用函数、动态库或工厂模式描述每种日志；第二种方式将正则表达式配置到配置文件中，从而取出日志中需要的字段；第三种方式是开发一种简单的“语言”用“语言”来进行日志解析。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

第一种ETL处理方式，仅针对某一具体业务的日志格式进行处理，当有新日志或者原来的日志格式发生改变时，需要对代码进行修改或者重新开发一套新代码，致使工作繁琐，而且时间久了代码管理也会变得困难，灵活性和可复用性差；第二种方式使用正则表达式的方式，不是所有人都熟悉正则，存在写错的风险；第三种开发一种语言的方式，工作量较大，且存在学习“语言”的门槛，推广比较难。上述三种方式仅将日志中的字段值解析出来，因而从数据中提取信息能力差。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种日志处理方法和装置。所述技术方案如下：

一方面，提供了一种日志处理方法，所述方法包括：

获取预设的格式配置文件；所述格式配置文件中包括日志格式配置要求；

判断接收到的日志是否满足所述日志格式配置要求；

当所述日志满足所述日志格式配置要求时，根据所述日志格式配置要求解析所述日志的字段值。

具体地，所述根据所述日志格式配置要求解析所述日志的字段值之后，还包括：

对解析的所述日志的字段值进行过滤，去掉无效的字段值；

根据所述日志过滤后的字段值查找是否存在相关日志，并判断所述日志是否需要与所述相关日志合并；

如果需要合并，则将所述日志与相关日志进行合并，并将所述日志解析的字段值存储在所述相关日志对应的目录下或者转发；

如果不需要合并，则将所述日志解析的字段值进行存储或者转发。

具体地，所述获取预设的格式配置文件之前，包括：

配置所述格式配置文件，所述格式配置文件中的日志格式配置要求具体包括输入格式配置要求和输出格式配置要求。

具体地，所述根据所述日志格式配置要求解析所述日志的字段值，包括：

当接收到的所述日志满足所述输入格式配置要求时，判断所述日志的字段模式为固定序模式还是键值对KV模式；

当所述日志的字段模式是所述固定序模式时，根据所述固定序模式规则解析所述日志的字段值；

当所述日志的字段模式是所述KV模式时，根据所述KV模式规则解析所述日志的字段值。

进一步地，判断所述日志是否需要与相关日志合并之后，还包括：

当所述日志与相关日志需要合并时，则将所述日志与相关日志进行合并后，将所述日志解析的字段值根据所述输出格式配置要求配置后，存储在所述相关日志对应的目录下或者转发；

当所述日志与相关日志不需要合并时，则将所述日志解析的字段值根据所述输出格式配置要求配置后，进行存储或者转发。

另一方面，提供了一种日志处理装置，所述装置包括：

获取模块，用于获取预设的格式配置文件；所述格式配置文件中包括日志格式配置要求；

判断模块，用于判断接收到的日志是否满足所述日志格式配置要求；

解析模块，用于当所述日志满足所述日志格式配置要求时，根据所述日志格式配置要求解析所述日志的字段值。

具体地，所述装置还包括：

过滤模块，用于根据所述日志格式配置要求解析所述日志的字段值之后，对解析的所述日志的字段值进行过滤，去掉无效的字段值；