[发明专利]一种日志预处理方法、装置、设备及可读存储介质

说明书

本发明公开了一种日志预处理方法、装置、设备及可读存储介质，该方法包括：在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；对初始日志进行编辑处理，得到符合推送条件的目标日志；发送目标日志给日志管理平台，并更新时间戳指针。该方法，在无需对存储系统和日志管理平台进行调整的情况下，通过对存储系统产生的初始日志进行编辑处理，能够使得日志管理平台得到更加便于处理的目标日志，能够有效提高日志管理平台的处理效率。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种日志预处理方法、装置、设备及可读存储介质。

背景技术

存储系统的日志收集主要是采用人工操作方式，费时又费力。特别是当存储集群规模比较大、存储组件比较多的时候，存储系统产生的日志数量巨大，日志种类繁多，日志格式不一致，采用传统方式的日志搜集及分析方式，已经满足不了存储系统日常功能维护，系统故障、性能异常等问题定位的要求。

目前，专门用于日志集中管理的日志管理平台有很多，如VMware虚拟化日志管理平台(VMware vRealize Log Insight)，具有强大托管功能的日志管理工具(Splunk)，均可以提供高度可扩展的异构日志管理功能，并且具有直观的数据仪表盘、完善的分析功能和友好的第三方延展性等优点。由于存储系统产生的日志是海量的，且多样的，日志管理平台处理存储系统的日志时，仍然存在处理效率低，有用日志筛选困难等问题。

综上所述，如何有效地降低日志管理平台的日志处理效率等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种日志预处理方法、装置、设备及可读存储介质，以提高日志管理平台的处理效率。

为解决上述技术问题，本发明提供如下技术方案：

一种日志预处理方法，包括：

在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；

对所述初始日志进行编辑处理，得到符合推送条件的目标日志；

发送所述目标日志给日志管理平台，并更新所述时间戳指针。

优选地，发送所述目标日志给日志管理平台，包括：

按照预设推送时间，利用表述性状态传递接口发送所述目标日志给所述日志管理平台。

优选地，所述推送条件为格式化日志，相应地，对所述初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

对所述初始日志进行字段提取；

格式化字段提取结果，得到所述目标日志。

优选地，所述推送条件为字段筛选，相应地，格式化字段提取结果，得到所述目标日志，包括：

从所述字段提取结果中筛选出推送字段对应的日志信息；

组合所述日志信息，得到所述目标日志。

优选地，所述推送条件为推送指定模块日志，相应地，对所述初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

从所述初始日志中筛选出所述指定模块对应的所述目标日志。

优选地，所述推送条件为推送指定类型的日志，相应地，对所述初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

从所述初始日志中筛选出所述指定类型对应的所述目标日志；所述指定类型包括提示、严重和错误中的至少一种。

优选地，所述在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志，包括：