[发明专利]基于SMAC算法的调参方法和装置

说明书

本申请公开了基于SMAC算法的调参方法和装置，涉及机器学习领域。方法的一具体实施方式包括：初始化贝叶斯循环，随机生成SMAC算法的两个超参组合，两个超参组合中的一个为最佳组合，另一个为挑战组合；执行迭代操作；响应于确定更新后的最佳组合在目标算法上的性能表现满足预设条件，将更新后的最佳组合确定为当前最优超参组合并输出。该实施方式有效提高了SMAC算法的超参搜索效率，减小了资源浪费。

技术领域

本申请涉及计算机技术领域，具体涉及机器学习领域，尤其涉及一种基于SMAC算法的调参方法和装置。

背景技术

目前较为流行的自动调参算法包括：Random Search、SMAC(Sequential Model-based Algorithm Configuration，基于序列模型的算法配置)算法；其中，SMAC是一种基于贝叶斯优化的超参搜索算法。

现有技术的SMAC算法会在超参搜索前先设置好搜索的轮数，这会带来以下缺点：一方面一旦达到搜索轮数之后，不论是否能找到效果比较好的超参组合，SMAC算法都会停止；另一方面，即使在达到搜索轮数之前已经找到符合要求的超参组合，SMAC算法也会继续进行直到达到搜索轮数为止；另外，SMAC的超参搜索路径对于是否能寻找到较好的超参组合非常重要，如果SMAC在最开始寻找错了搜索路径，那么无论搜索多少轮数，也无法得到较好的超参组合。因为这个特性，SMAC算法可能会因为设置较小的搜索轮数而导致无法找到效果较好的超参组合，也可能会因为设置过大的搜索轮数而浪费资源，还可能会因为较差的早期搜索轮数而在错误的搜索路径上浪费资源。

发明内容

本申请实施例提供了一种基于SMAC算法的调参方法、装置、设备以及存储介质。

根据第一方面，本申请实施例提供了一种基于SMAC算法的调参方法，该方法包括：初始化贝叶斯循环，随机生成SMAC算法的两个超参组合，两个超参组合中的一个为最佳组合，另一个为挑战组合；执行迭代操作，迭代操作包括：对最佳组合和挑战组合在目标算法上的性能表现进行比较，根据比较结果对最佳组合进行更新，得到更新后的最佳组合；响应于确定更新后的最佳组合在目标算法上的性能表现满足预设条件，将更新后的最佳组合确定为当前最优超参组合并输出。

在一些实施例中，迭代操作，还包括：响应于确定更新后的最佳组合在目标算法上的性能表现不满足预设条件，将更新后的最佳组合确定为最佳组合；获取新的挑战组合；将新的挑战组合确定为挑战组合，继续执行迭代操作。

在一些实施例中，响应于确定更新后的最佳组合在目标算法上的性能表现满足预设条件，将更新后的最佳组合确定为当前最优超参组合并输出，包括：响应于确定更新后的最佳组合在目标算法上的性能表现满足预设条件，并且截止至当前更新后的最佳组合的连续预设数量次迭代操作中的最佳组合在目标算法上的性能表现均满足预设条件，将更新后的最佳组合确定为当前最优超参组合并输出。

在一些实施例中，响应于确定更新后的最佳组合在目标算法上的性能表现不满足预设条件，将更新后的最佳组合确定为最佳组合，包括：响应于确定更新后的最佳组合在目标算法上的性能表现不满足预设条件，并且当前已执行迭代操作的次数小于预设的迭代次数阈值，将更新后的最佳组合确定为最佳组合。

在一些实施例中，迭代操作，还包括：响应于确定更新后的最佳组合在目标算法上的性能表现不满足预设条件，并且当前已执行迭代操作的次数等于预设的迭代次数阈值，将更新后的最佳组合确定为当前最优超参组合并输出。

根据第二方面，本申请实施例提供了一种基于SMAC算法的调参装置装置，该装置包括生成模块，被配置成初始化贝叶斯循环，随机生成SMAC算法的两个超参组合，两个超参组合中的一个为最佳组合，另一个为挑战组合；迭代模块，被配置成执行迭代操作，迭代操作包括：对最佳组合和挑战组合在目标算法上的性能表现进行比较，根据比较结果对最佳组合进行更新，得到更新后的最佳组合；输出模块，被配置成响应于确定更新后的最佳组合在目标算法上的性能表现满足预设条件，将更新后的最佳组合确定为当前最优超参组合并输出。