[发明专利]一种云环境下分布式文件系统的动态负载均衡方法

说明书

本发明公布了一种云环境下分布式文件系统的动态负载均衡方法，该方法主要包括：获取云环境下分布式文件系统所有节点的信息，判断文件系统是否平衡，根据每个节点的磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率计算出均衡时需要的阈值，根据该阈值和磁盘空间使用率对文件系统的负载进行失衡调整。本方法支持云计算任务执行的同时对文件系统进行负载均衡，通过对节点的监测信息不断对负载进行调整，提高云计算对文件系统的执行效率。

技术领域

本发明涉及一种云环境下对分布式文件系统的负载进行动态均衡的方法，属于大数据云计算领域。

背景技术

随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，目前所积累的数据量都被上传并存储在分布式文件系统中，在有效利用和处理这些数据的同时，保证分布式文件系统的负载均衡，成为对分布式文件系统的研究热点之一。

HDFS作为分布式文件系统的典型代表，是一种可扩展的主从分布式文件系统。HDFS在数据存放的过程中，数据块的存放是随机的，这种存储方式很容易造成节点间数据存储的不平衡，使得负载失衡，这样我们在对数据操作的过程中会造成资源的分配不均衡，很大程度上降低了并行度，浪费了云计算平台的计算能力。一种可行方案是对HDFS数据存放模式进行改进，可以根据每个节点的当前负载和节点的磁盘大小按比例进行数据块的放置。

balancer算法是HDFS中的一个对负载进行均衡的算法，该算法根据当前磁盘使用情况和阈值对文件系统进行均衡调整，在调整的过程中可以在不丢失数据块的前提下进行负载均衡。虽然该算法可以作为均衡负载的一种有效算法，但是在影响该算法的参数中，阈值λ的确定是用户根据当前磁盘的使用状态进行主观的取定，这样就造成了在均衡过程中的人为主观性，对均衡的效果有很大影响，而且该算法需要用户去调用才会实现，在对分布式文件系统操作的过程中我们很难主观判断集群的负载程度以及阈值该如何确定。

发明内容

本发明所要解决的技术问题是针对背景技术的缺陷，提供一种云环境下对分布式文件系统的负载进行动态均衡的方法，在保证数据不丢失和操作正常进行的同时，可以根据当前节点的磁盘空间使用率和当前任务的繁忙程度进行负载均衡，提高了任务的执行效率和负载的均衡程度。

本发明为了解决上述技术问题，采用如下技术方案：

一种云环境下分布式文件系统的负载均衡方法，包括以下步骤：

步骤一、从Hadoop集群获取每个节点的信息；

步骤二、根据节点信息计算出均衡时需要的阈值；

步骤三、根据节点的磁盘空间使用率和阈值判断集群是否均衡，若均衡转步骤一，否则转步骤四；

步骤四、根据计算的阈值对分布式文件系统进行负载均衡调整。

进一步的，本发明所提出的云环境下分布式文件系统的负载均衡方法，步骤一中获取每个节点的信息，节点信息包括：磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率。

进一步的，本发明所提出的云环境下分布式文件系统的负载均衡方法，节点信息的获取步骤如下：

1.1、通过指令hdfs dfsadmin–report查看集群状态获取文件系统的磁盘空间使用率；

1.2、读取节点proc文件夹下的stat文件获取CPU利用率；

1.3、读取节点proc文件夹下的meminfo文件获取内存利用率；

1.4、通过iostat命令监控IO负载情况，获取I/O占用率；

1.5、读取节点proc/net文件夹下的dev文件，获取网络带宽占用率。