[发明专利]一种存储设备的数据均衡方法及装置

说明书

本发明公开了一种存储系统的数据均衡方法，包括统计存储系统中的对象存储设备的数量及各个对象存储设备中的最小存储单元的数量；计算各个对象存储设备中最小存储单元数量的总和；计算最小存储单元的分布平均值；依据预设均衡原则判断最小存储单元分布是否均匀，如果不均匀，判断是否完成全部预设权重调整，如果否，依据预设调整原则对对象存储设备进行权重调整，调整后最小存储单元重新分布；重新统计各个对象存储设备中的最小存储单元的数量，返回均衡判断操作。本发明还提供了一种存储系统的数据均衡装置。本发明通过调整OSD的权重改善数据分布不均衡的缺陷，保证存储池内的OSD容量基本相同，提高了系统整体的容量利用率。

技术领域

本发明涉及计算机集群技术领域，特别是涉及一种存储设备的数据均衡方法，还涉及了一种存储设备的数据均衡装置。

背景技术

随着互联网业务量的增加、访问量和数据流量的快速增长，存储系统各个核心部分的处理强度也相对增大，使系统工作负载增大。在存储系统中采用一致性Hash(哈希算法)和CRUSH(Controlled Replication Under Scalable Hashing，可扩展哈希受控副本算法)算法用于数据分布的计算，在这个过程中，CRUSH算法将PG(最小存储单元)映射到一组OSD(对象存储设备)中，每个OSD上应分布着若干等量的PG。然而在实际应用环境中，PG只会按照CRUSH算法在OSD上进行伪随机分布，使得实际的PG分布并不能够达到完美的均衡，造成有些OSD上分布的PG数量较多，有些PG数量较少的情况。在数据写入分布式文件系统的时候，直观的现象就是OSD上的数据分布不均，这导致了存储池内的OSD容量相差较大，系统整体的容量利用率较低，均衡性差。

因此，如何提供一种存储设备的数据均衡方法及装置来改善对象存储设备中数据分布的不均衡是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种存储设备的数据均衡方法及装置，通过调整OSD的权重改善数据分布不均衡的缺陷，保证存储池内的OSD容量基本相同，提高了系统整体的容量利用率。

为解决上述技术问题，本发明提供了一种存储设备的数据均衡方法，包括：

s1：统计所述存储系统中的对象存储设备的数量及各个所述对象存储设备中的最小存储单元的数量；

s2：计算各个所述对象存储设备中所述最小存储单元数量的总和；计算所述最小存储单元数量的总和与所述对象存储设备数量的比值，得到所述最小存储单元的分布平均值；

s3：依据预设均衡原则、所述各个所述对象存储设备中的最小存储单元的数量和所述最小存储单元的分布平均值判断所述最小存储单元分布是否均匀，如果不均匀，则进入步骤s4，否则结束操作；

s4：判断是否完成全部预设权重调整，如果否，依据预设调整原则对所述对象存储设备进行权重调整，调整后所述最小存储单元重新分布；重新统计各个所述对象存储设备中的最小存储单元的数量，返回步骤s3。

优选地，所述预设调整原则包括：

将各个所述对象存储设备中的最小存储单元的数量按照由大到小的顺序排序，并根据预设选取原则和所述最小存储单元数量的排序选取若干个所述对象存储设备，并依据所述预设权重降低原则降低选取的所述对象存储设备的权重。

优选地，所述预设均衡原则具体为：

判断是否满足MAX_PG所述分布平均值*预设阈值，如果不满足，则判断为分布不均匀，进入步骤s4，否则结束操作；

其中，所述MAX_PG为所述最小存储单元分布最多的所述对象存储设备上的最小存储单元的数量。

优选地，所述预设阈值为102％～110％间的任意值。

优选地，所述步骤s4判断是否完成全部预设权重调整的步骤进一步包括：