[发明专利]一种HBase配置参数自动调优方法及装置、用户设备

说明书

本发明公开了一种HBase配置参数自动调优方法及装置、用户设备，该方法包括：获取HBase数据库配置参数后，首先根据该HBase配置参数随机生成多组HBase配置文件，然后模拟负载，并根据生成的多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵，再根据该参数吞吐矩阵构建基于随机森林的性能模型，最后将性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。可见，实施本发明实施例，能够实现HBase配置参数自动调优，不再依赖于实施者的个人能力和经验，大大提高了作业效率。

技术领域

本发明涉及数据库领域，尤其涉及一种HBase配置参数自动调优方法及装置、用户设备。

背景技术

HBase(Hadoop Database，HBase)数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase广泛使用在国内外大型互联网公司，同时也被很多中小型IT企业所广泛采用。

HBase参数调优是系统部署、运维过程中的一项重要活动。HBase架构设计复杂，涉及一系列模块化的组件。这些组件包括负责网络通信的远程过程调用、缓存和缓冲区等。这些组件的行为和组件间的交互都由一系列参数控制。这些参数影响请求队列大小，缓存策略和并行程度等，是影响HBase性能的决定性因素。但是，这些参数的默认值仅仅能够尽量保证系统的稳定运行，远远达不到性能优化。因此，参数调优有很大的性能提升空间。

参数调优能够提高系统性能，可以减少投资运维成本。例如，对某个特定的HBase应用，其设计吞吐目标是10000操作/秒，默认参数配置情况下需要30台服务器才能够达到10000操作/秒。但是通过参数调优，20台服务器就能够达到10000操作/秒。这意味着只需部署20台服务器即可满足应用的性能需求，节约了33％的系统投资成本。

虽然，参数调优是降低成本的有效途径，但参数调优的实施面临着一系列挑战如如何克服参数见的干扰。当前，参数调优的效果依赖于具体的实施者，经验丰富并且对HBase架构有深入理解的工程师能够达到比较好的效果，但是对于一般技术背景的工程师，参数调优的效果往往不佳。并且，手动调优效率低，耗时长。手动调优的方法通常是尝试一组组不同的参数值，实际实施过程中，一组组尝试显得很不现实。以HBase参考手册为例，其推荐了超过二十个配置参数。即使每个参数只有2个取值，也存在着超过2的20次方个组合。

发明内容

本发明实施例公开了一种HBase配置参数自动调优方法及装置、用户设备，实现了HBase配置参数自动调优，不再依赖于实施者的个人能力和经验。

本发明实施例第一方面公开一种HBase配置参数自动调优方法，包括：

获取HBase(Hadoop Database，HBase)数据库配置参数，并根据所述HBase配置参数随机生成多组HBase配置文件；

模拟负载，并根据所述多组HBase配置文件完成相同数量的参数配置，生成参数吞吐矩阵；

根据所述参数吞吐矩阵构建基于随机森林的性能模型，所述性能模型以HBase配置参数为输入，系统吞吐为输出；

将所述性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法中，将性能模型输入遗传算法，通过遗传算法的迭代计算获取最优HBase配置参数的步骤包括：

将第一配置参数输入性能模型，然后将所述性能模型输入遗传算法计算评估值；

如果所述评估值不是最优值，则将第一配置参数进行杂交和变异后生成第二配置参数；