[发明专利]面向负载感知的多模数据库ArangoDB参数调优的方法

说明书

本发明公开一种面向负载感知的多模数据库ArangoDB参数调优的方法，涉及基准测评工具MMDBench和参数调优工具ADBTune，其中ADBTune包含配置参数选择、负载感知和参数调优三个模块。方法包含如下步骤：(1)构建基准测评工具；(2)构建配置参数选择模块；(3)构建负载感知模块；(4)基于TD3算法构建参数调优模型。本发明实现了工作负载的复杂性以及调优任务的多样性，通过TD3算法构建模型来学习多模数据库ArangoDB的参数和性能之间的映射关系。该方法可广泛应用于智慧水利、智慧农业等多领域的数据存储机制的性能优化。

技术领域

本发明涉及一种面向负载感知的多模数据库ArangoDB参数调优的方法，属于软件性能评测与数据库感知调优技术领域。

背景技术

随着物联网技术的快速发展和网络应用程序数量的快速增长，数据规模呈爆炸式增长，数据类型愈发丰富，例如，在“社交商务”和“智慧水利”等应用中，一般包含结构化的关系性数据和半结构化的文档类型的数据等，这些数据往往存储在一个承载数据存储和计算功能的专用软件数据库系统中。但是，传统的关系型数据库难以满足应用对数据结构多样的数据存储和查询。因此，为有效解决传统数据库的不足，多模数据库(Multi ModelDatabase,MMDB)被开发，多模数据库是数据库管理系统的一个新兴趋势，与采用单独的数据存储来满足各种用例的多语种持久性技术相比，它可以所有结构形式的数据都保存在单一引擎中，而不需要去为各种类型的数据去部署不同的数据库。多模数据库被认为是融合了灵活性、可扩展性和一致性的下一代数据管理系统。

多模数据库同时兼具了多种类型数据库(如文档数据库、图数据库)的特点，为用户存储和管理多种数据模型的数据提供了解决方案。但是，多模数据库仍存在着配置参数优化的问题，数据库系统给出的默认配置往往不能使性能达到最佳，一般需要针对实际的工作负载或应用进行配置参数优化。参数调优一直是数据库优化领域里一个艰巨的挑战和具有重大意义的研究工作，对参数进行调优需要调优者具备丰富的调优经验，一般由数据库管理者(Database Administrator，DBA)完成。但是，由DBA来调优的形式用于多模数据库存在一些局限：首先，DBA通常擅长调优它们熟悉的系统，很难调优不熟悉的系统。其次，参数调整是一个NP-hard的问题，面对几百个参数，DBA往往很难对高维的参数空间进行调优。第三，由于系统可以构建在不同的环境中(例如本地、云或内存等)，DBA需要在不同的环境中长时间地调优系统，这严重影响了调优效率。最后，在应用程序场景中，工作负载通常动态且连续地变化，不断变化的工作负载也要求DBA始终动态调优旋钮以实现高性能，这显然是非常低效的。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种面向负载感知的多模数据库ArangoDB参数调优的方法，为最大化利用系统资源，提高ArangoDB的性能提供了可行的方案。

技术方案：一种面向负载感知的多模数据库ArangoDB参数调优的方法，包括：基准测评工具MMDBench和参数调优框架ADBTune。其中，ADBTune包含配置参数排序、负载感知和参数调优。具体包括如下步骤：

(1)构建基准测评工具

(2)构建配置参数选择模块

(3)构建负载感知模块

(4)基于TD3算法构建调优模型

所述步骤(1)中，基准测评工具MMDBench用来对执行的工作负载进行性能测评。它主要有两部分组成：负载生成器和度量指标收集器。所述负载生成器用来生成多模数据库的不同的数据请求分布方式和操作组成的工作负载；数据请求分布方式提供了Zipfian(根据Zipfian分布来选择数据)、Uniform(等概率读取数据)和Latest(最新的数据优先读取)等以满足不同场景的需求。度量指标收集器主要是收集执行负载中的性能指标。