[发明专利]数据库管理系统参数调优及模型训练方法、系统和设备在审
| 申请号: | 202310356101.1 | 申请日: | 2023-03-31 |
| 公开(公告)号: | CN116467281A | 公开(公告)日: | 2023-07-21 |
| 发明(设计)人: | 张颖莹;范崇炅;周志强 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
| 主分类号: | G06F16/21 | 分类号: | G06F16/21;G06N3/0455;G06N3/092;G06N3/096;G06N3/0985;G06N7/01 |
| 代理公司: | 北京思格颂知识产权代理有限公司 11635 | 代理人: | 杨超 |
| 地址: | 311121 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据库 管理 系统 参数 模型 训练 方法 设备 | ||
1.一种用于数据库管理系统参数调优的元学习模型训练方法,其特征在于,包括:
将数据库管理系统参数调优任务的历史观测数据集划分为上下文集合和目标集合,其中,历史观测数据集中包括参数配置和对应的系统性能指标;
将所述上下文集合输入元学习模型中进行学习,获取参数配置的分布规律;将所述目标集合输入元学习模型中,结合所述参数配置的分布规律进行学习,输出系统性能指标预测结果;
根据输出的系统性能指标预测结果与真实的系统性能指标构建损失函数,基于损失函数更新模型的全局参数;
使用多个历史观测数据集对全局参数进行设定次数的多次迭代更新,得到训练好的元学习模型。
2.如权利要求1所述的方法,其特征在于,将所述上下文集合输入元学习模型中进行学习,获取参数配置的分布规律;将所述目标集合输入元学习模型中,结合所述参数配置的分布规律进行学习,输出系统性能指标预测结果,包括:
将上下文集合输入元优化模块的编码器中;
通过自注意力层对上下文集合包括参数配置中的确定性特征进行学习,提取到的参数配置的分布规律传递到交叉注意力层,在交叉注意力层与目标集合中的参数配置进行融合学习,得到聚合特征;
通过自注意力层对上下文集合包括的参数配置中的隐性特征进行学习,得到隐变量;
通过多层感知层对聚合特征和隐变量进行处理,输出系统性能指标预测数据。
3.如权利要求1或2所述的方法,其特征在于,根据输出的系统性能指标预测结果与真实的系统性能指标构建损失函数,基于损失函数更新模型的全局参数,包括:
根据输出的系统性能指标预测结果与真实的系统性能指标,结合上下文集合和目标集合的参数配置分布规律构建ELBO损失函数,基于ELBO损失函数和设置的元学习模型全局参数确定在本次使用的历史观测数据集上进行设定次数的梯度下降后的模型参数;
根据元学习模型在本次使用的历史观测数据集上进行梯度下降后的全局参数、当前的全局参数以及模型预设的学习率,更新模型的全局参数。
4.一种数据库管理系统参数调优方法,其特征在于,包括:
以采样得到的参数配置和将其配置到数据库管理系统进行评估得到的系统性能指标作为上下文集合;将所述上下文集合输入训练好的元学习模型进行学习,获取参数配置的分布规律;
以采样得到的多个参数配置作为待评测配置集输入所述元学习模型,结合所述参数配置的分布规律进行学习,输出系统性能指标预测结果;
使用采集函数,根据输出的系统性指标能预测结果,从多个参数配置中选择最优的参数配置,将最优的参数配置及其配置到数据库管理系统进行评估得到的系统性能指标,更新到上下文集合中;
经过设定次数的迭代,得到设定数量的参数配置和对应的系统性能指标。
5.如权利要求4所述的方法,其特征在于,还包括:
将得到的参数配置和对应的系统性能指标加入任务观测共享池中;
采用异构参数空间处理算法,从任务观测共享池中择优选择参数配置以便推荐给数据库管理系统。
6.如权利要求5所述的方法,其特征在于,采用异构参数空间处理算法,从任务观测共享池中择优选择参数配置以便推荐给数据库管理系统,包括:
从所述任务观测共享池中取出参数配置数据,采用选择的重要性评估算法评估参数配置中各参数在目标负载下的重要程度,根据所述重要程度选择出重要程度排序在前的k个重要参数;
从包括k个重要参数的多个参数配置获取最优的参数配置以便推荐给数据库管理系统。
7.如权利要求6所述的方法,其特征在于,所述采用异构参数空间处理算法,从任务观测共享池中择优选择参数配置以便推荐给数据库管理系统,包括:
针对配置的参数空间,采用异构参数空间处理算法处理参数空间中的离散参数变量和连续参数变量,从任务观测共享池中选取最优的参数配置以便推荐给数据库管理系统;
所述异构参数空间处理算法模型使用从任务观测共享池中取出的参数配置和对应的系统性能指标进行初始化,基于设定的采集函数通过迭代的方式进行贝叶斯优化,以选取系统性能预测结果最优的参数配置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310356101.1/1.html,转载请声明来源钻瓜专利网。





