[发明专利]数据库管理系统参数调优及模型训练方法、系统和设备

说明书

本发明公开了一种数据库管理系统参数调优及模型训练方法、系统和设备。该训练方法包括：将历史观测数据集划分为上下文集合和目标集合，将上下文集合输入元学习模型，获取参数配置的分布规律；将目标集合输入元学习模型，结合参数配置的分布规律进行学习，输出系统性能指标预测结果；根据预测结果与真实系统性能指标构建损失函数，基于损失函数更新模型的全局参数；使用多个历史观测数据集对全局参数进行设定次数的多次迭代更新，得到训练好的元学习模型。以采样的参数配置和评估得到的系统性能指标作为上下文集合，基于采样得到的待评测配置集使用元学习模型，优选参数配置。能够降低数据复杂度且可对不同负载的不同参数进行调优、可扩展性强。

技术领域

本发明涉及数据库技术领域，特别涉及一种数据库管理系统参数调优及模型训练方法、系统和设备。

背景技术

数据库管理系统参数繁多，通过成百上千个参数来控制整个系统各个方面的特性，这些参数是非标准的、系统参数不是相互独立的且不是普适的。这导致数据库管理系统参数调优一直以来都是一个十分困难的任务，是一个NP-Hard问题。

最开始，系统参数调优往往由经验丰富的数据库专家对数据库系统进行参数调优，调优的方式符合人类直觉，一般为每次调整一个参数后观察系统性能变化，这种方法成本昂贵且效率低下；同时随着数据库管理系统的不断发展以及云数据库环境的出现，需要调优的系统参数越来越多，需要调优的场景也越来越复杂，使得需要越来越多的成本去进行数据库参数调优，使得参数调优问题变得难以持续。

为了应对以上情况，出现了数据库管理系统自动参数调优技术，通过对数据库查询行为进行信息采样和建模，以自动化的方式利用机器学习算法模型推荐优秀的数据库参数配置，同时数据库管理系统评估出推荐的参数配置的性能并返回给算法模型，持续迭代运行，从而达到对数据库系统的性能进行调优的效果。

数据库管理系统自动参数调优方法一般可以分为三种：基于搜索的方法，例如：BestConfig等，基于贝叶斯优化方法，例如iTuned、OtterTune、ResTune等，基于强化学习算法的方法，例如CDBTune、QTune、HUNTER等。这三种方法又可以分为两大类，基于历史数据迁移学习的和不基于历史数据迁移学习的。

发明内容

本申请发明人发现，数据库管理系统自动参数调优方法，在利用历史任务数据时，其复杂度为立方阶时间复杂度($O(n^3)$)，难以利用大量历史数据；且需要依据专家经验设计一个全局核函数供所有数据集共用，其扩展性差，不能灵活的针对不同负载的不同参数进行调优。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据库管理系统参数调优及模型训练方法、系统和设备。

本发明实施例提供一种用于数据库管理系统参数调优的元学习模型训练方法，包括：

将数据库管理系统参数调优任务的历史观测数据集划分为上下文集合和目标集合，其中，历史观测数据集中包括参数配置和对应的系统性能指标；

将所述上下文集合输入元学习模型中进行学习，获取参数配置的分布规律；将所述目标集合输入元学习模型中，结合所述参数配置的分布规律进行学习，输出系统性能指标预测结果；

根据输出的系统性能指标预测结果与真实的系统性能指标构建损失函数，基于损失函数更新模型的全局参数；

使用多个历史观测数据集对全局参数进行设定次数的多次迭代更新，得到训练好的元学习模型。

在一些可选的实施例中，将所述上下文集合输入元学习模型中进行学习，获取参数配置的分布规律；将所述目标集合输入元学习模型中，结合所述参数配置的分布规律进行学习，输出系统性能指标预测结果，包括：

将上下文集合输入元优化模块的编码器中；