[发明专利]一种集群管理的方法和设备

说明书

本发明公开了一种集群管理的方法和设备，用以解决现有技术中OSD频繁的flapping占用了大量的网络带宽和存储读写性能，使集群系统性能降低的问题。本发明实施例在监控的OSD发生故障后，将发生故障的OSD的数据转移给其他的OSD；判断发生故障的OSD是否满足停用条件；如果确定发生故障的OSD满足停用条件，则停止使用发生故障的OSD。由于在确定故障的OSD达到停用条件，将故障的OSD停用，在停用时间内，即使发生故障的OSD频繁的发生恢复、故障，也不会进行数据重均衡，减少集群管理系统中网络带宽和存储读写性能的占用量，降低了集群系统的负载，使集群系统的性能增加。

技术领域

本发明涉及存储管理技术领域，特别涉及一种集群管理的方法和设备。

背景技术

Ceph是一种为具有优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。

现有技术中，Ceph存储系统至少需要一个Ceph Mon和两个Ceph OSD(ObjectStorage Device，对象存储设备)守护进程。其中，Ceph Mon主要用于维护展示集群状态的各种表格，比如监视器图、OSD图、PG(Placement Group，归置组)图以及CRUSH(ControlledReplication Under Scalable Hashing，数据分发算法)图。Ceph OSD用来存储数据，处理数据的复制、恢复、回填、再均衡；同时Ceph OSD还可以对其他的Ceph OSD进行心跳检测，并向Ceph Mon提供检测的心跳信息。

在实际生产实践时，Ceph存储系统提供了大规模的海量存储服务。当存储集群达到10PB量级，若按照每个OSD的最大量级为4TB来计算，则存储系统中就存有2500块OSD。在实际运维时，OSD会因为网络的闪断、集群负载过大而发生轻微的故障，或服务器发生故障等原因造成OSD不响应，此时将OSD标为down(下降状态)，但是在网络恢复、负载正常、服务器恢复后，将OSD标为up(上升状态)；因此OSD频繁的up和down等情况是十分常见的，这种情况被称为OSD的flapping(上下移动)。

如图1所示，OSD发生故障前后的PG分布，假设当前OSD3发生故障，Ceph Mon将OSD3标记为down，同时对保存在OSD3上的PG重新分配，将PG均衡的分配到其他OSD中。

如图2所示，OSD发生故障又恢复的PG分布，在故障的OSD3恢复后，Ceph Mon将OSD3标记为up，同时对集群系统中的数据做重均衡操作，此时将保存在OSD1和OSD2上的部分PG重新分配到OSD3。

综上，在现有技术中，OSD频繁的flapping占用了大量的网络带宽和存储读写性能，使整个集群系统的性能降低。

发明内容

本发明提供一种集群管理的方法和设备，用以解决现有技术中OSD频繁的flapping占用了大量的网络带宽和存储读写性能，使集群系统的性能降低的问题。

第一方面，本发明实施例提供一种集群管理的方法，该方法包括：

在监控的OSD发生故障后，将发生故障的OSD的数据转移给其他的OSD；判断发生故障的OSD是否满足停用条件；如果确定发生故障的OSD满足停用条件，则停止使用发生故障的OSD。

上述方法，在进行集群管理的过程中，由于确定故障的OSD达到停用条件，因此将故障的OSD停用，在停用时间内，即使因发生故障而被停用的OSD频繁的发生故障、恢复，也不会对数据进行重均衡操作，减少集群管理系统中网络带宽和存储读写性能的占用量，降低了集群系统的负载，使集群系统的性能增加。

在一种可能的实现方式中，在监控的OSD发生故障后，判断发生故障的OSD是否满足停用条件之前，对所述发生故障的OSD对应的故障参数值进行更新；判断更新后的故障参数值是否大于第一阈值，如果是，则确定所述发生故障的OSD满足停用条件；否则，确定所述发生故障的OSD不满足停用条件。