[发明专利]一种分布式存储系统中的主从平衡方法和装置

说明书

本发明实施例提供了一种分布式存储系统中的主从平衡方法和装置，其中的方法具体包括：生成从存放分片的所有机器中取出M台机器的组合；其中，M等于分片对应副本的数量；针对每一种所述组合，统计其对应M台机器中相同分片的主从分布信息，其中，所述相同分片为所述M台机器中皆存有其主副本/从副本的分片；以及在所述相同分片的主从分布信息符合预置切换条件时，对所述相同分片的副本进行主从调整。本发明实施例降低了分布式环境中人工运维的成本，且减少了因冗迁移操作而导致服务暂停的那部分时间。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分布式存储系统中的主从平衡方法和装置。

背景技术

在分布式存储系统中，数据分片可以将整体数据分摊在多台机器上，假设将某整体数据划分为1024分片，待分摊的机器数量为N，则每台机器存储的数据量为1024/N分片，以此满足上述分布式存储系统的性能需求。

进一步，为了防止某台机器出现操作失误或者机器故障而导致数据丢失，还可以针对分片配置多个副本，假设分片对应副本的数量为M，则1个为主副本，M-1个为从副本，其中，主副本对应机器可用于提供对于分片的读写服务，而在主副本所在机器宕机时可通过主从切换将其中1个从副本切换为主副本。

在上述分布式存储系统提供对于分片的读写服务的过程中，会存在如下问题：某台机器上存储的副本全部为主副本，而其它机器上存储的副本全部为从副本，这样，容易出现该台机器负载高宕机而其它机器闲置的情况，无法做到多台机器的负载均衡。

为了实现多台机器的负载均衡，传统方案会在主从不均时人工进行分片的主从调整，这无疑增加了分布式环境中人工运维的成本；并且，上述主从调整主要包括：针对所有机器中所有分片在多台机器之间进行迁移操作，该迁移操作期间所有机器需要暂停服务，这样，如果主从调整方案不合理则容易出现冗余的迁移操作，所述冗余的迁移操作具体可以包括：在主从调整过程中对某个分片频繁地执行的迁移操作等等，这些冗余的迁移操作无疑会增加服务暂停的时间，从而影响分布式存储系统的吞吐量等性能。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种分布式存储系统中的主从平衡方法和装置。

依据本发明的一个方面，提供了一种分布式存储系统中的主从平衡方法，包括：

生成从存放分片的所有机器中取出M台机器的组合；其中，M等于分片对应副本的数量；

针对每一种所述组合，统计其对应M台机器中相同分片的主从分布信息，其中，所述相同分片为所述M台机器中皆存有其主副本/从副本的分片；以及

在所述相同分片的主从分布信息符合预置切换条件时，对所述相同分片的副本进行主从调整。

可选地，所述相同分片的主从分布信息包括：所述M台机器中任一台中所述相同分片的最大主副本数以及所述相同分片的最小主副本数；

则所述相同分片的主从分布信息符合预置切换条件包括：所述相同分片的最大主副本数与所述相同分片的最小主副本数的差值大于阈值。

可选地，所述在所述相同分片的主从分布信息符合预置切换条件时，对所述相同分片的副本进行主从调整的步骤，包括：

确定所述M台机器对应的最优主从分布序列；

依据所述最优主从分布序列，针对所述相同分片的副本在所述M台机器之间进行迁移操作。

可选地，所述最优主从分布序列包括：最优主副本分布序列和最优从副本分布序列；

则所述依据所述最优主从分布序列，针对所述相同分片的副本在所述M台机器之间进行迁移操作的步骤，包括：依据所述最优主副本分布序列，针对相同分片的主副本进行的迁移操作，以及，依据所述最优从副本分布序列，针对相同分片的从副本进行迁移操作；