[发明专利]一种基于可视化配置的日志处理方法

说明书

本公开的实施例提供了一种基于可视化配置的日志处理方法、装置、设备和计算机可读存储介质。所述方法包括基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置；根据预先配置的采集参数，采集日志数据；根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段；根据预先配置的输出参数，对所述标准字段进行存储和/或转发。以此方式，实现了以可视化配置的方式配置解析规则，降低了日志解析的难度。

技术领域

本公开的实施例一般涉及数据处理领域，并且更具体地，涉及一种基于可视化配置的日志处理方法、装置、设备和计算机可读存储介质。

背景技术

日志文件是用于记录系统操作事件的记录文件或文件集合，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在计算机系统中，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志记录，包括跟踪和分析，是任何监控、分析基础设置中的一个基本过程。大部分系统或程序输出的日志有不同的特性，没有统一预定的格式，只是一段自由格式的文本。

当前，对日志文件进行解析的方案大多是通过代码的方式实现的，如通过shell脚本语言等编程语言利用正则表达式解析日志。还有就是利用第三方开源的日志采集组件如logstash，在logstash的配置文件中写相应的解析脚本。

但是，不管是通过shell脚本语言等编程语言利用正则表达式解析日志，还是采用第三方开源的日志采集组件如logstash等。都没有可视化的配置界面，缺乏测试功能，只能边编写解析脚本边调试。

发明内容

根据本公开的实施例，提供了一种基于可视化配置的日志处理方案。

在本公开的第一方面，提供了一种基于可视化配置的日志处理方法。该方法包括：

基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置；

根据预先配置的采集参数，采集日志数据；

根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段；

根据预先配置的输出参数，对所述标准字段进行存储和/或转发。

进一步地，所述基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置包括：

分别调用与所述采集、解析和输出参数相匹配的插件，对所述采集、解析和输出参数进行检测。

进一步地，所述根据预先配置的采集参数，采集日志数据包括：

根据预先配置的ip地址和端口参数，调用syslog插件，采集syslog形式的日志数据存入解析队列；和/或

根据预先配置的数据库链接及数据表的采集频率参数，调用JDBC插件，采集JDBC形式的日志数据存入解析队列；和/或

根据预先配置的kafka地址和队列名称参数，调用kafka插件，采集消息形式的日志数据存入解析队列。

进一步地，所述根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段包括：

从所述解析队列中提取所述日志数据；

对所述日志数据进行解析，得到初步解析结果；

若所述初步解析结果包含预设数据信息，则根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的标准字段。

进一步地，所述根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的标准字段包括：

根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的日志属性；