[发明专利]机器学习模型中超参数的优化方法及装置

说明书

本申请实施例提供了一种机器学习模型中超参数的优化方法，包括：发送任务配置文件至服务器，其中，所述任务配置文件包含超参数、第一算法类型、以及参数搜索范围，所述服务器运行超参数优化任务，以根据所述参数搜索范围和所述第一算法类型对应的第一超参数优化算法，计算得到所述超参数的候选值；从所述服务器获取所述超参数的候选值；对所述超参数的候选值进行验证，并根据验证结果更新所述任务配置文件；将更新后的所述任务配置文件发送至所述服务器，其中，所述服务器根据所述更新后的任务配置文件，继续运行所述超参数优化任务，并得到新的候选值；当所述超参数优化任务运行结束之后，根据各候选值的验证结果，确定所述超参数的最优值。

技术领域

本申请涉及人工智能领域，尤其涉及一种机器学习模型中超参数的优化方法及装置。

背景技术

在使用机器学习来完成图像识别、自然语言处理等任务时，需要先训练机器学习模型，训练的过程包括调整机器学习模型的参数的过程。机器学习模型的参数主要有超参数和普通参数两类，其中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。超参数定义了关于机器学习模型的更高层次的概念，如网络深度、学习率等等，而超参数的选择对于机器学习模型最终的效果有极大的影响。

在机器学习过程中需要对超参数进行优化，给机器学习模型选择一组最优的超参数组合，以提高机器学习的性能和效果。

为了寻找一组最优的超参数组合，可以采用网格搜索、随机搜索、贝叶斯优化等方法。例如，在网格搜索方法中，客户端可以先设置好搜索范围，然后提交给调参服务系统，调参服务系统根据该搜索范围进行搜索，待搜索完成后，将最终结果反馈给客户端。

对于上述的调参服务系统，通常只针对某种特定的机器学习模型或某种特定超参数优化算法。并且超参数的调优请求是单次的，用户预先设置好超参数的搜索范围和次数，这个调参过程中，用户无法与调参服务系统进行交互，来动态调整超参数的搜索范围，使得整个调参过程无法人为调整，效率较低，同时容易陷入局部最优。而且，每个调参任务都是重新开始，没有利用历史任务结果，耗费的时间较长。

发明内容

本申请实施例提供了一种机器学习模型中超参数的优化方法和装置，从而能够在机器学习模型的超参数优化过程中，对超参数的参数搜索范围进行动态调整，提高超参数优化的效率。

本申请的实施例提供了一种机器学习模型中超参数的优化方法，包括：

发送任务配置文件至服务器，其中，所述任务配置文件包含机器学习模型中待优化的超参数、第一算法类型、以及参数搜索范围，所述服务器运行超参数优化任务，以根据所述参数搜索范围和所述第一算法类型对应的第一超参数优化算法，计算得到所述超参数的候选值；

从所述服务器获取所述超参数的候选值；

对所述超参数的候选值进行验证，并根据验证结果更新所述任务配置文件；

将更新后的所述任务配置文件发送至所述服务器，其中，所述服务器根据所述更新后的任务配置文件，继续运行所述超参数优化任务，并得到新的候选值；

当所述超参数优化任务运行结束之后，根据各候选值的验证结果，确定所述超参数的最优值。

本申请实施例还提供了一种机器学习模型中超参数的优化方法，包括：

接收终端设备发送的任务配置文件，所述任务配置文件中包括机器学习模型中待优化的超参数、第一算法类型、以及参数搜索范围；

运行超参数优化任务，以根据所述参数搜索范围和所述第一算法类型对应的第一超参数优化算法，计算得到所述超参数的候选值；

暂停所述超参数优化任务的运行，将所述超参数的候选值发送给所述终端设备，其中，所述终端设备对所述候选值进行验证，并根据验证结果更新所述任务配置文件；