[发明专利]日志数据压缩处理方法、装置、电子设备和存储介质

说明书

本发明实施例公开了一种日志数据压缩处理方法、装置、电子设备和存储介质，该方法包括：获取待处理的第一日志数据中的每个第一属性名称；根据当前存储的属性名称与压缩名称之间的映射关系和第一日志数据中的每个第一属性名称，确定每个第一属性名称对应的第一压缩名称，其中，第一压缩名称的字符数量小于第一属性名称的字符数量；将第一日志数据中的每个第一属性名称替换为相应的第一压缩名称，获得压缩处理后的第二日志数据。通过本发明实施例的技术方案，可以在不破坏日志数据的文本结构性的情况下，大大降低日志数据量。

技术领域

本发明实施例涉及互联网技术，尤其涉及一种日志数据压缩处理方法、装置、电子设备和存储介质。

背景技术

随着互联网技术的快速发展，系统服务架构从原来的单体式发展到分布式以及当前最热门的微服务式，使得服务之间的请求交互过程变得更加复杂。

通常，服务器可以将生成的日志文件写入全文搜索引擎(比如，Elasticsearch搜索服务器)中，从而在出现故障时，可以在全文搜索引擎中利用日志关键词进行日志搜索，以便基于搜索结果可以快速地分析故障原因。随着应用访问量越来越大，生成的日志数据量也越来越大，从而需要对日志数据进行压缩处理，以便降低日志数据量。

目前，通常利用常用的数据压缩方式对日志数据进行压缩处理后，再将压缩处理后的日志数据写入日志文件或者全文搜索引擎中。

然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

常用的数据压缩方式会使得压缩处理后的日志文本与原有的日志文本结构不同，从而破坏了日志数据的文本结构性，使得全文搜索引擎无法进行分词，建立索引，进而无法基于关键词进行全文搜索，降低了搜索效率。

发明内容

本发明实施例提供了一种日志数据压缩处理方法、装置、电子设备和存储介质，以实现在未破坏日志数据的文本结构性的情况下，大大降低日志数据量。

第一方面，本发明实施例提供了一种日志数据压缩处理方法，包括：

获取待处理的第一日志数据中的每个第一属性名称；

根据当前存储的属性名称与压缩名称之间的映射关系和所述第一日志数据中的每个第一属性名称，确定每个所述第一属性名称对应的第一压缩名称，其中，所述第一压缩名称的字符数量小于所述第一属性名称的字符数量；

将所述第一日志数据中的每个所述第一属性名称替换为相应的所述第一压缩名称，获得压缩处理后的第二日志数据。

第二方面，本发明实施例还提供了一种日志数据压缩处理装置，包括：

第一日志数据获取模块，用于获取待处理的第一日志数据中的每个第一属性名称；

第一压缩名称确定模块，用于根据当前存储的属性名称与压缩名称之间的映射关系和所述第一日志数据中的每个第一属性名称，确定每个所述第一属性名称对应的第一压缩名称，其中，所述第一压缩名称的字符数量小于所述第一属性名称的字符数量；

第一属性名称替换模块，用于将所述第一日志数据中的每个所述第一属性名称替换为相应的所述第一压缩名称，获得压缩处理后的第二日志数据。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的日志数据压缩处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任意实施例所提供的日志数据压缩处理方法。