[发明专利]分布式集群的元数据压缩方法、系统、设备及存储介质

说明书

本申请公开了一种分布式集群的元数据压缩方法、系统、设备及存储介质，应用于存储技术领域，应用于分布式集群中的任1监控服务中，包括：判断由监控服务自身所管理的元数据信息的磁盘占用空间是否超过空间占用阈值；如果的，则判断A＞(B/2+1)是否成立；如果成立，则判断在分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务；如果不存在，则对自身所管理的元数据信息进行压缩；A表示的是在分布式集群中当前存活的监控服务数量，B表示的是分布式集群中设置的监控服务总数量。应用本申请的方案，可以有效进行分布式集群的元数据压缩，避免出现节点的磁盘空间耗尽的情况，同时可以避免发生分布式集群的服务不可用的情况。

技术领域

本发明涉及存储技术领域，特别是涉及一种分布式集群的元数据压缩方法、系统、设备及存储介质。

背景技术

分布式集群可以通过monitor服务，即监控服务来监控集群的健康状态。一个分布式集群通常会有多个monitor服务，设置在不同的存储服务器节点上。monitor服务可以维护集群的OSDmap(Object-based Storage Device map，对象存储设备地图)、PGmap(Placement Group map，放置组地图)等元数据信息，并将这些元数据信息持久化保存在后端的kv-store(key-value store，键值存储)中。

monitor服务对于所管理的元数据信息，可以进行压缩，以减小磁盘占用，即，monitor服务可以进行自身所管理的kv-store的压缩。通常，会自动周期性地执行kv-store的压缩，也可以通过手动方式触发。但是，在有些场景下，例如分布式集群为大规模集群，单个OSDmap、PGmap的占用空间会较大，且数量也会较多，例如可能有几千个OSDmap，几万个PGmap，此时如果出现monitor服务故障等异常，便可能发生OSDmap、PGmap版本更新频繁的情况，进而使得kv-store占用大量的空间，此时如果没有及时从内部触发自动压缩，便会导致磁盘空间耗尽。这种情况下，可以通过手动触发压缩来减小磁盘占用，例如可以通过当前的分布式集群提供的CLI命令，触发kv-store的压缩。但是，如果人为的监控和介入不及时，仍然可能发生磁盘空间耗尽的情况。

因此，在当前的方案中，每个monitor服务会定期收集本节点的kv-store的相关信息，包括其占用磁盘空间的大小，并将这些信息以广播的方式分享给其他的monitor服务。目前有两种方案，一种是主monitor服务定时检查所有monitor服务的kv-store信息，如果某个monitor服务所管理的kv-store占用磁盘空间过大，则向该monitor服务发出压缩指令，令其压缩。另一种方案是每个monitor服务检测到自己的kv-store过大时，便执行压缩。

但是，采用目前的方案时，经常会发生分布式集群的服务不可用的情况。

综上所述，如何有效地进行分布式集群的元数据压缩，避免出现节点的磁盘空间耗尽的情况，同时解决分布式集群的服务不可用的问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种分布式集群的元数据压缩方法、系统、设备及存储介质，以有效地进行分布式集群的元数据压缩，避免出现节点的磁盘空间耗尽的情况，同时解决分布式集群的服务不可用的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种分布式集群的元数据压缩方法，应用于分布式集群中的任意1个监控服务中，包括：

判断由监控服务自身所管理的元数据信息的磁盘占用空间是否超过预设的空间占用阈值；

如果超过所述空间占用阈值，则判断A＞(B/2+1)是否成立；

如果成立，则判断在所述分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务；

如果不存在，则对自身所管理的元数据信息进行压缩；