[发明专利]一种基于强化学习的分布式存储系统自动调参方法及系统

说明书

本发明公开了一种基于强化学习的分布式存储系统自动调参方法及系统，属于分布式存储技术领域；首先通过对第一样本池中的分布式存储系统性能指标进行统计，从而从第一样本池中筛选出对分布式存储系统性能影响较大的多个系统参数，作为分布式存储系统的一组调优参数，以降低优化问题的复杂度，保证了后续基于强化学习的进行调参的可行性；然后，在参数筛选的基础之上，利用强化学习的DDPG模型进行进一步的调优工作，并且在这个过程中，考虑到DDPG模型的前期冷启动耗时问题，采用遗传算法进行前期的样本收集工作，将收集得到的样本输入给DDPG模型进行预训练，从而避免前期冷启动大量耗时的问题，从而能够合理有效地对分布式存储系统参数进行准确调优。

技术领域

本发明属于分布式存储技术领域，更具体地，涉及一种基于强化学习的分布式存储系统自动调参方法及系统。

背景技术

随着信息时代的飞速发展，大量数据需要被存储，因此，分布式文件存储系统作为一种可靠的解决方案，也得到了快速发展，同时对其的性能要求也日益增长。参数调优作为一种行之有效的性能调优方式，也得到了广泛关注。

在中国发明专利CN114564460A中公开了一种基于分布式存储系统的参数调优方法，该方法先利用日志文件分析系统的读写性能情况，确定业务应用模型；根据不同的业务应用模型，选择对应调整的参数；对这些参数进行随机取值并测试性能，根据测试结果选择最优参数配置。在中国发明专利CN114415945A中公开了一种分布式存储系统的参数调优方法，该方法先通过针对多个优化目标建立独立的贝叶斯优化模型，然后进行参数综合，将优化得到的结果转化为先验知识，以初始化多目标进化算法的初代种群；接着利用进化算法对存储系统进行参数调优。

上述两种分布式存储系统的参数调优方法中，由于存储系统存在大量的参数且参数之间还存在复杂的关联，所以无论是利用人工经验进行筛选，还是通过贝叶斯优化模型进行筛选，都很难对参数进行有效且合理的筛选。同时，对于参数的调优模型过于简单，很难在短时间内从参数空间推荐出合理的最优配置。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于强化学习的分布式存储系统自动调参方法及系统，用以解决现有技术无法合理有效地对分布式存储系统参数进行准确调优的技术问题。

为了实现上述目的，第一方面，本发明提供了一种基于强化学习的分布式存储系统自动调参方法，包括以下步骤：

S1、从初始的系统参数配置集合中随机筛选一组系统参数的配置值对分布式存储系统进行调参，获取对应的分布式存储系统性能指标，并将该组系统参数的配置值与对应的分布式存储系统性能指标所组成的样本对保存至第一样本池中；

S2、重复步骤S1进行迭代，直至第一样本池中的样本对数量达到第一预设数量；

S3、通过对第一样本池中的分布式存储系统性能指标进行统计，从第一样本池中筛选出对分布式存储系统性能影响较大的m个系统参数作为分布式存储系统的一组调优参数；2≤m≤M；M为步骤S1中随机筛选的一组系统参数的总数量；

S4、采用GA模型获取各调优参数的配置值后，对分布式存储系统进行调参，获取对应的分布式存储系统性能指标，将该组调优参数配置值与对应的分布式存储系统性能指标所组成的样本对保存至第二样本池中；基于该组调优参数配置值所对应的分布式存储系统性能指标，计算该组调优参数配置值的适应度，并基于适应度对GA模型中的参数进行更新；

S5、重复步骤S4进行迭代，直至第二样本池中的样本对数量达到第二预设数量或者GA模型达到收敛；

S6、将第二样本池中的样本对作为训练集，对DDPG模型进行预训练；

S7、采用预训练完成后的DDPG模型获取各调优参数的配置值后，对分布式存储系统进行调参，并获取对应的分布式存储系统性能指标来计算对应的奖励值，以对DDPG模型进行在线训练；