[发明专利]一种集群日志存储方法、装置、设备及介质

说明书

本申请公开了一种集群日志存储方法、装置、设备及介质，包括：统计集群中各目标模块的日志文件的访问频次；基于所述访问频次确定各所述目标模块对应的压缩属性；其中，所述压缩属性包括压缩和不压缩；当监测到集群中有待存储日志，则确定所述待存储日志对应的所述压缩属性；若所述压缩属性为不压缩，则将所述待存储日志存储至日志缓存区，否则，将所述待存储日志压缩以得到第一压缩日志，并将所述第一压缩日志存储至静态存储区。能够提高集群存储空间的利用率和日志访问效率。

技术领域

本申请涉及日志处理技术领域，特别涉及一种集群日志存储方法、装置、设备及介质。

背景技术

在当前的分布式存储集群环境中，日志是存储集群中的重要信息，包括了各种业务操作记录，另外，集群历史运行状态和故障时的问题定位都需要通过日志进行分析，同时随着时间的日益增长，日志数据也伴随线性增长，日志数据在数据存储中占用了大量的空间，降低了分布式存储集群的整体空间利用率，同时由于日志的繁多，对于日志的管理和检索变得更加困难，因此解决海量日志数据存储和检索的问题对集群有着重要影响。

发明内容

有鉴于此，本申请的目的在于提供一种集群日志存储方法、装置、设备及介质，能够提高集群存储空间的利用率和日志访问效率。其具体方案如下：

第一方面，本申请公开了一种集群日志存储方法，包括：

统计集群中各目标模块的日志文件的访问频次；

基于所述访问频次确定各所述目标模块对应的压缩属性；其中，所述压缩属性包括压缩和不压缩；

当监测到集群中有待存储日志，则确定所述待存储日志对应的所述压缩属性；

若所述压缩属性为不压缩，则将所述待存储日志存储至日志缓存区，否则，将所述待存储日志压缩以得到第一压缩日志，并将所述第一压缩日志存储至静态存储区。

可选的，所述统计集群中各目标模块的日志文件的访问频次，包括：

统计各功能模块以及各所述功能模块的子模块的日志文件的访问频次；

相应的，所述基于所述访问频次确定各所述目标模块对应的压缩属性，包括：

基于所述访问次数确定各所述目标模块对应的压缩属性；其中，所述压缩属性为不压缩的所述功能模块的所述访问频次高于所述压缩属性为压缩的所述功能模块的所述访问频次，所述压缩属性为不压缩的所述子模块的所述访问频次高于所述压缩属性为压缩的所述子模块的所述访问频次。

可选的，所述基于所述访问频次确定各所述目标模块对应的压缩属性，包括：

对各所述功能模块的日志文件的访问频次排序；

筛选出所述访问频次最高的预设数量个所述功能模块，得到第一模块；

将所述第一模块的压缩属性确定为不压缩，所述功能模块中的非第一模块的压缩属性确定为压缩；

对所述功能模块中非第一模块的全部子模块的日志文件的访问频次排序；

将所述访问频次最高的第一预设比例的所述子模块的压缩属性确定为不压缩，非第一模块的其他子模块的压缩属性确定为压缩。

可选的，还包括：

将各所述目标模块的所述压缩属性存储至日志基础库；

相应的，所述确定所述待存储日志对应的所述压缩属性，包括：