[发明专利]一种云环境下分布式文件系统的动态负载均衡方法

权利要求书

1.一种云环境下分布式文件系统的负载均衡方法，其特征在于，包括以下步骤：

步骤一、从Hadoop集群获取每个节点的信息；节点的信息包括：磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率；

步骤二、根据节点的信息，利用线性加权法计算出均衡时需要的阈值；

步骤三、根据节点的磁盘空间使用率和阈值判断集群是否均衡，若均衡转步骤一，否则转步骤四；

步骤四、根据计算的阈值对分布式文件系统进行负载均衡调整。

2.根据权利要求1所述的云环境下分布式文件系统的负载均衡方法，其特征在于，节点信息的获取步骤如下：

1.1、通过指令hdfs dfsadmin-report查看集群状态获取文件系统的磁盘空间使用率；

1.2、读取节点proc文件夹下的stat文件获取CPU利用率；

1.3、读取节点proc文件夹下的meminfo文件获取内存利用率；

1.4、通过iostat命令监控IO负载情况，获取磁盘I/O占用率；

1.5、读取节点proc/net文件夹下的dev文件，获取网络带宽占用率。

3.根据权利要求1所述的云环境下分布式文件系统的负载均衡方法，其特征在于，步骤二的具体步骤如下：

2.1、将集群的平均磁盘空间使用率记为即集群磁盘空间使用率的离散程度为σ，即其中N为集群节点个数；P_diski代表节点i的磁盘空间使用率；

2.2、将集群节点i的繁忙程度记为B_i，影响集群节点的繁忙程度的参数有节点的CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率，利用线性加权法，计算节点的繁忙程度，即r₁，r₂，r₃，r₄分别表示各变量在影响节点繁忙程度方面所占的比重，且r₁+r₂+r₃+r₄＝1；P_cpui、P_memi、P_ioi、P_bandwidthi分别代表节点i的CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率；

2.3、将集群的整体繁忙程度记为

2.4、将阈值记为λ，利用线性加权法计算λ，d_max是节点磁盘空间使用率偏移均值最大值，且d_max＞σ，k₁，k₂分别表示各变量在影响阈值方面所占的比重，且k₁+k₂＝1。

4.根据权利要求3所述的云环境下分布式文件系统的负载均衡方法，其特征在于，r₁＝0.2756，r₂＝0.2297，r₃＝0.3308，r₄＝0.1639。

5.根据权利要求3所述的云环境下分布式文件系统的负载均衡方法，其特征在于，k₁＝0.1，k₂＝0.9。

6.根据权利要求3所述的云环境下分布式文件系统的负载均衡方法，其特征在于，步骤三根据计算出的阈值λ和节点的磁盘空间使用率来判断集群负载是否均衡，判断步骤如下：

3.1、首先判断第一个节点的磁盘空间使用率是否在范围范围之内，若在此范围继续判断下一个节点；

3.2、判断第二个节点的磁盘空间使用率是否在范围范围之内，若在此范围继续判断下一个节点；

3.3、逐一的判断每一个节点，若所有节点的磁盘空间使用率都在范围范围之内，转步骤一，否则集群处于不平衡状态，转步骤四。

7.根据权利要求1所述的云环境下分布式文件系统的负载均衡方法，其特征在于，步骤四具体步骤如下：

用户调用HDFS的balancer算法对集群进行负载均衡，调用指令：

HADOOP_HOME/bin/start-balancer.sh-thresholdλ。