[发明专利]一种分布式文件系统负载平衡实现方法

说明书

技术领域

本发明涉及分布式文件系统IO负载平衡技术领域，具体地说是一种分布式文件系统负载平衡实现方法。

背景技术

分布式文件系统由大量的存储设备组成，当前一般采用一致性哈希控制数据的分布，但是依据名称等原始用户信息并不能很好的控制IO请求的分布，短暂时间内IO分布不均匀，造成存储设备的IO请求不均匀，导致存储设备的处理延时过高。

尤其在小文件应用场景， 对存储设备的IOPS要求高，但带宽数据量小，IO负载不平衡，严重时可能造成个别存储设备的超时处理。

公开的相关专利文件：名称为“一种分布式B+树索引系统及构建方法”，该文件公开了“一种分布式B+树索引系统及构建方法，其特征在于：它包括主服务器、事务服务器机群、索引服务器机群和版本控制服务器；事务服务器机群包括多个事务服务器，索引服务器机群包括多台索引服务器；主服务器负责管理META数据，并对索引服务器机群进行负载平衡调度；事务服务器机群负责对分布式文件系统中索引数据访问的事务控制；索引服务器机群负责管理和读写分布式文件系统中的索引数据。本发明提出了一种细粒度、小网络流量的索引事务机制，由于本发明的事务基本操作是基于B+树的键值粒度，事务基本操作在执行时只需要传输几十个字节的B+树索引键值对，因此本发明有效地实现了并发环境下索引数据的事务功能”。

名称为“一种分布式并行计算的服务器系统及其管理方法”，该文件公开了“一种分布式并行计算的服务器系统及其管理方法，其中系统包括：客户端向分布式并行计算的服务器集群提出计算任务的服务请求；管理服务器根据客户端的服务请求将相关的数据信息分成单元数据并由分布式文件系统存储，对单元数据进行安全处理后，根据任务服务器的当前资源将安全处理过的单元数据分配给相应的任务服务器；任务服务器对分配的经安全处理的单元数据进行解安全处理后，按照指定的计算方式对解安全处理的单元数据完成相应的计算任务，得到计算结果。本发明有效地解决了集群计算的负载平衡问题以及数据传输的带宽问题以及信息安全问题”。

上述公开文件与本发明内容要解决的技术问题，采用的技术手段都不相同。

发明内容

本发明的技术任务是提供一种分布式文件系统负载平衡实现方法。

本发明的技术任务是按以下方式实现的，该实现方法如下：依据分布式文件系统的存储设备IO负载统计，分配空闲存储设备的元数据，客户端在根据分配的元数据进行一致性哈希，实现数据IO依据IO压力分布。

在分布式文件系统元数据分配过程，依据存储设备的IO统计信息，依据IO负载控制选取元数据，通过控制元数据的分配，调整系统的所有存储设备的IO分布；

操作步骤如下：

1）数据会根据元数据分布到不同的存储设备；

2）元数据分配模块依据存储设备分配元数据；

3）存储设备上送IO压力情况；

4）元数据分配模块选取IO压力轻的存储设备；

5）分配压力轻设备相关的元数据。

该方法具体操作步骤如下：

1）客户端写入请求，发送请求到元数据分配模块，申请创建元数据；

2）元数据分配模块依据设备IO压力情况，选取存储设备IO压力最轻的元数据；

3）客户端得到元数据应答，根据元数据信息通过一致性哈希算法完成数据的分布写入，将数据写入到IO压力最轻的存储设备。

本发明的一种分布式文件系统负载平衡实现方法和现有技术相比，通过存储设备的IO统计，有效的调整IO压力分布；按照存储设备管理元数据分配表，有效的解决了存储设备处理延时过高的问题。

附图说明

图1为一种分布式文件系统负载平衡实现方法的流程示意图。

具体实施方式

实施例1：

该分布式文件系统负载平衡实现方法如下：依据分布式文件系统的存储设备IO负载统计，分配空闲存储设备的元数据，客户端在根据分配的元数据进行一致性哈希，实现数据IO依据IO压力分布。

在分布式文件系统元数据分配过程，依据存储设备的IO统计信息，依据IO负载控制选取元数据，通过控制元数据的分配，调整系统的所有存储设备的IO分布；

操作步骤如下：

1）数据会根据元数据分布到不同的存储设备；

2）元数据分配模块依据存储设备分配元数据；

3）存储设备上送IO压力情况；

4）元数据分配模块选取IO压力轻的存储设备；

5）分配压力轻设备相关的元数据。