[发明专利]大数据集群数据平衡方法和装置

说明书

本发明公开了一种大数据集群数据平衡方法和装置，涉及大数据领域。其中的方法包括：获取数据平衡策略信息；获取大数据集群负载和性能数据；根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽，重新启动数据平衡程序。本发明能够在保障集群正常数据生产的同时，提高集群数据平衡的效率和弹性。

技术领域

本发明涉及大数据领域，尤其涉及一种大数据集群数据平衡方法和装置。

背景技术

以Hadoop(分布式计算)为代表的大数据技术，在互联网公司成功的“数据驱动”示范和引领下，为越来越多企业的重视和应用，纷纷构建了Hadoop大数据集群，用来管理、存储、处理和应用企业的各种数据，发挥企业数据资产的价值。

Hadoop大数据集群，在集群数据增减、数据节点调整等情况下，往往会出现集群数据节点之间数据不平衡的现象，也就是集群中一些数据节点的数据存储空间较空闲，而另外一些数据节点的数据存储空间出现严重不足的情况。一旦出现这种现象，Hadoop集群的性能就会受到较大的影响，如数据生产出现严重的延时，进而影响到企业正常的业务开展。

针对上述现象，现有方法和技术，是通过Hadoop提供的“hdfs balancer”操作命令来实现集群数据节点间的数据重新分布和平衡。在执行该操作命令之前，还可以先执行“hdfs dfsadmin-setBalanacerBandwidth newbandwidthInBytes”命令来修改可用于集群数据平衡的节点网络带宽默认值(单位为字节)。

然而，在实际集群数据平衡处理中，如果使用默认值或更小网络带宽进行集群数据平衡，则需要较长的时间才能达到数据平衡。而在此期间，因为集群某些数据节点的存储空间不足等原因，影响整个集群的可用性。如果使用较大网络带宽进行数据平衡，则数据平衡效率高、耗时短。但在此期间，可用于集群数据处理任务的网络带宽变小，导致数据处理任务用时延长，进而影响企业的正常数据生产。

发明内容

本发明要解决的一个技术问题是提供一种大数据集群数据平衡方法和装置，在保障集群正常数据生产的同时，提高集群数据平衡的效率和弹性。

根据本发明一方面，提出一种大数据集群数据平衡方法，包括：获取数据平衡策略信息；获取大数据集群负载和性能数据；根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽，重新启动数据平衡程序。

进一步地，根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽包括：根据数据平衡策略和大数据集群负载和性能数据确定用于数据平衡的网络带宽；若用于数据平衡的网络带宽与当前运行数据平衡程序所配置的网络带宽的差值大于阈值，则动态调整当前运行数据平衡程序的网络带宽。

进一步地，获取大数据集群负载和性能数据包括：获取大数据集群的CPU占用率、内存使用情况、网络带宽使用率和/或磁盘IO。

进一步地，获取大数据集群负载和性能数据包括：通过监控大数据集群主机和/或大数据集群的API接口调用大数据集群负载和性能数据。

进一步地，数据平衡策略包括：大数据集群负载阈值、数据平衡任务紧急程度和/或设置的暂停数据平衡任务的时间段。

根据本发明的另一方面，还提出一种大数据集群数据平衡装置，包括：策略管理模块，用于获取数据平衡策略信息；集群性能实时监控模块，用于获取大数据集群负载和性能数据；实时网络带宽调整模块，用于根据数据平衡策略和大数据集群负载和性能数据动态调整数据平衡的网络带宽；平衡程序控制模块，用于重新启动数据平衡程序。

进一步地，实时网络带宽调整模块还用于根据数据平衡策略和大数据集群负载和性能数据确定用于数据平衡的网络带宽，若用于数据平衡的网络带宽与当前运行数据平衡程序所配置的网络带宽的差值大于阈值，则动态调整当前运行数据平衡程序的网络带宽。