[发明专利]一种基于轻量级架构的业务日志处理方法、系统、存储介质及终端

说明书

本发明公开了一种基于轻量级架构的业务日志处理方法、系统、存储介质及终端，轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件，方法包括：通过promtail日志组件收集当前系统中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；将统计结果反馈至相应客户端进行展示。由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对系统的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于轻量级架构的业务日志处理方法、系统、存储介质及终端。

背景技术

日志是记录计算机系统运行状态和事件的重要载体，如何更好地分析日志是查看系统运行状态和追查问题的关键，而随着计算机系统的应用场景不断增多，各个系统产生的日志数量和种类开始超过人脑处理能力的上线。目前日志分析的技术通常用关键字搜索实现，搜索结果中可能包含多种不同类型的日志，观察和分析难度很大。

在现有技术中，目前kubernetes集群的日志管理方法主要是通过固定标签进行日志筛选，对筛选得到的日志进行相应处理，限制了搜索性能，导致日志整理分析难度大，日志可用性低，从而降低了业务日志的分析效率。

发明内容

本申请实施例提供了一种基于轻量级架构的业务日志处理方法、系统、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种基于轻量级架构的业务日志处理方法，方法包括：

通过promtail日志组件收集当前系统中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；

根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；

将统计结果反馈至相应客户端进行展示。

可选的，通过promtail日志组件收集当前系统中预处理后的业务日志进行标签化处理之前，还包括：

实时获取针对系统中不同域名的访问请求；

将针对系统中不同域名的访问请求以日志的形式进行记录，生成业务日志；

根据预设分词词典对业务日志进行分词处理，生成多个待匹配字符串；

计算多个待匹配字符串中每个待匹配字符串与预设字符串库中各标准字符串之间的相似度，得到每个待匹配字符串对应的多个相似度；

将每个待匹配字符串对应的多个相似度中最高相似度对应的标准字符串确定为每个待匹配字符串的最终字符串；

根据每个待匹配字符串的最终字符串生成预处理后的业务日志。

可选的，通过promtail日志组件收集当前系统中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，包括：

通过promtail日志组件收集当前系统中预处理后的业务日志；

加载针对预处理后的业务日志所设置的标签库；

根据标签库确定预处理后的业务日志对应的多个目标标签；

根据多个目标标签对预处理后的业务日志设置标签，生成标签化后的业务日志。

可选的，根据标签库确定预处理后的业务日志对应的多个目标标签，包括：