[发明专利]一种消除热点数据的方法及装置

说明书

一种消除热点数据的方法及装置，用以检测并消除集群中的热点数据。该方法包括：获取集群中每个服务器的性能影响因子；所述性能影响因子包括访问频度和垃圾回收时间；根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器；所述热点服务器为热点数据集中的服务器；若所述热点服务器的所述性能影响因子满足触发条件，则将所述热点服务器中的数据分配到所述集群的其它服务器中。

技术领域

本申请涉及大数据集群技术领域，尤其涉及一种消除热点数据的方法及装置。

背景技术

随着互联网与移动设备的快速发展，人们日常生活与工作中产生的数据越来越多。为了对大规模的数据进行分析和处理，公司、企业需要搭建大数据集群，而Hadoop作为一款开源的分布式数据处理框架，已经被广泛应用在大数据的分析和处理领域。

HBase是Hadoop集群中的一个分布式数据库，它具有高可靠、高性能、面向列和可伸缩的特性，可以提供快速随机访问海量数据的能力。但在实际访问HBase时，当RegionServer中的一个或多个数据表被频繁访问时，会出现热点现象，大量的访问会使热点数据所在的Region Server性能下降。而对于集群整体来讲，数据访问的不均匀会导致HBase负载不平衡，进而导致集群整体性能降低。

因此，目前亟需一种方案，用以检测并消除集群中的热点数据。

发明内容

本申请提供一种消除热点数据的方法及装置，用以检测并消除集群中的热点数据。

第一方面，本申请实施例提供一种消除热点数据的方法，该方法包括：获取集群中每个服务器的性能影响因子；所述性能影响因子包括访问频度和垃圾回收时间；根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器；所述热点服务器为热点数据集中的服务器；若所述热点服务器的所述性能影响因子满足触发条件，则将所述热点服务器中的数据分配到所述集群的其它服务器中。

上述技术方案中，根据集群中各服务器的垃圾回收耗时确定热点服务器，在热点服务器满足触发条件时，利用集群本身的数据高可用特性将当前检测出的热点服务器中的数据分配到集群的其他服务器中，使得集群中每个服务器的读写负载保持动态平衡，进而可以持续保持整个集群的高性能。

在一种可能的设计中，所述根据所述每个服务器的所述垃圾回收时间，确定所述集群中的热点服务器，包括：将所述集群中所有服务器的所述垃圾回收时间排序，确定所述垃圾回收时间最长的服务器为所述集群中的热点服务器。

上述技术方案中，在对内存进行垃圾回收时需要消耗CPU等资源，服务器的垃圾回收耗时对用户体验影响较大，因此可以将垃圾回收时间最长的服务器确定为集群中的热点服务器。

在一种可能的设计中，所述若所述热点服务器的所述性能影响因子满足触发条件，包括若所述访问频度的倒数和所述垃圾回收时间的乘积大于预设阈值，则满足触发条件。

上述技术方案中，在将热点服务器中的数据分配到其它服务器上时，该热点服务器以及该热点服务器中的数据均不能被访问，当确定的热点服务器每分钟被访问次数特别多时，对其上的数据进行重新分配会影响到较多的用户，因此，需要在热点服务器访问频度相对较小的情况下，对热点服务器上的数据进行分配。

在一种可能的设计中，将所述热点服务器中的数据分配到所述集群的其它服务器中，包括：向所述集群中的管理服务器发送所述热点服务器下线的指令；所述管理服务器将所述热点服务器中的数据按照负载均衡的策略，分配到所述集群的其它服务器中。

上述技术方案中，在检测数据访问集中的热点服务器后，向集群中的管理服务器发送热点服务器下线的指令，利用集群本身的数据高可用性，将指示下线的服务器(即热点服务器)中的数据分配到集群的其他服务器中。