[发明专利]一种基于可视化配置的日志处理方法

权利要求书

1.一种基于可视化配置的日志处理方法，其特征在于，

基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置；

根据预先配置的采集参数，采集日志数据；

根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段；

根据预先配置的输出参数，对所述标准字段进行存储和/或转发。

2.根据权利要求1所述的方法，其特征在于，所述基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置包括：

分别调用与所述采集、解析和输出参数相匹配的插件，对所述采集、解析和输出参数进行检测。

3.根据权利要求2所述的方法，其特征在于，所述根据预先配置的采集参数，采集日志数据包括：

根据预先配置的ip地址和端口参数，调用syslog插件，采集syslog形式的日志数据存入解析队列；和/或

根据预先配置的数据库链接及数据表的采集频率参数，调用JDBC插件，采集JDBC形式的日志数据存入解析队列；和/或

根据预先配置的kafka地址和队列名称参数，调用kafka插件，采集消息形式的日志数据存入解析队列。

4.根据权利要求3所述的方法，其特征在于，所述根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段包括：

从所述解析队列中提取所述日志数据；

对所述日志数据进行解析，得到初步解析结果；

若所述初步解析结果包含预设数据信息，则根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的标准字段。

5.根据权利要求4所述的方法，其特征在于，所述根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的标准字段包括：

根据预先配置的解析参数，对所述初步解析结果进行解析，得到所述日志数据的日志属性；

对所述日志属性进行映射，得到所述日志数据的标准字段。

6.根据权利要求5所述的方法，其特征在于，所述根据预先配置的解析参数，对所述初步解析结果进行解析包括：

对所述初步解析结果中的数据进行日期转换和/或值转换；和/或

对所述初步解析结果中的数据的属性进行补齐。

7.根据权利要求5所述的方法，其特征在于，所述根据预先配置的输出参数，对所述标准字段进行存储和/或转发包括：

根据预先配置的连接串、登录名、密码和/或目标表参数，将所述标准字段存储到数据库；和/或

根据预先配置的ES地址、鉴权信息和/或目标索引参数，将所述标准字段转发至ES；和/或

根据预先配置的syslogIP、端口参数，将所述标准字段转发至syslog。

8.一种基于可视化配置的日志处理装置，其特征在于，包括：

配置模块，用于基于预设的可视化的配置页面，进行日志数据的采集、解析和输出的参数配置；

采集模块，用于根据预先配置的采集参数，采集日志数据；

解析模块，用于根据预先配置的解析参数，对所述日志数据进行解析，得到所述日志数据的标准字段；

输出模块，用于根据预先配置的输出参数，对所述标准字段进行存储和/或转发。

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。