[发明专利]超参数的优化方法及装置

说明书

提供一种超参数的优化方法与装置，该方法包括：将机器学习需要优化的超参数划分为N组超参数；分别对N组超参数进行贝叶斯优化，获得优化后的超参数，其中，在对每组超参数进行贝叶斯优化的过程中，固定其余组超参数的取值为最新取值。通过对机器学习需要优化的超参数分组进行贝叶斯优化，一方面可以对超参数实现降维搜索，另一方面可以弱化降维假设的限制。

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

技术领域

本申请涉及计算机技术领域，具体地，涉及一种超参数的优化方法及装置。

背景技术

机器学习算法的参数主要有超参数(Hyper-parameter)和普通参数两类。其中，普通参数可以从数据中学习估计得到；超参数无法从数据中学习估计得到，只能靠人的经验设计指定，超参数是在开始学习过程之前需要设置的参数。超参数定义了关于机器学习模型的更高层次的概念，如复杂性或学习能力。例如，超参数可以包括且不限于：正则项系数、学习率、网络结构、卷积核的宽度和深度等。

超参数的调节对于机器学习算法性能有非常大的影响，然而，超参数的调节是一个黑箱操作(black box)，往往需要算法设计人员经过大量的调试得出，且需要设计人员在该领域有较为深厚的积累，需要花费大量的时间和精力，甚至常常无法得到最优结果，优化效率低。

如果将机器学习的超参数调整过程视作一个未知函数，通过对该未知函数建模并寻找其全局最优解，就可以得到想要的超参数。贝叶斯优化算法(Bayesian OptimizationAlgorithm，BOA)是一种求解未知函数全局最优解的算法。因此，贝叶斯优化算法被提出来用于对机器学习模型的超参数进行调整。

但在一些机器学习的应用场景中，需要优化的超参数的数量可能非常大，导致在高维空间中求解未知函数的全局最优解的难度非常大，往往会卡在局部最优解，无法得到较好的结果。

发明内容

本申请提供一种超参数的优化方法及装置，可以实现对超参数的降维搜索，同时可以弱化限制解空间的假设，从而可以获得较好的超参数的优化结果。

第一方面，提供一种超参数的优化方法，该方法包括：将机器学习需要优化的超参数划分为N组超参数，N为大于1的整数；分别对N组超参数进行贝叶斯优化，获得优化后的超参数，其中，在对每组超参数进行贝叶斯优化的过程中，固定其余组超参数的取值为最新取值。

第二方面，提供一种超参数的优化装置，该装置包括：划分单元，将机器学习需要优化的超参数划分为N组超参数，N为大于1的整数；优化单元，用于分别对N组超参数进行贝叶斯优化，获得优化后的超参数，其中，在对每组超参数进行贝叶斯优化的过程中，固定其余组超参数的取值为最新取值。

第三方面，提供一种处理视频图像的装置，该装置包括存储器和处理器，存储器用于存储指令，处理器用于执行存储器存储的指令，并且对存储器中存储的指令的执行使得处理器执行第一方面提供的优化方法。

第四方面，提供一种芯片，芯片包括处理模块与通信接口，处理模块用于控制通信接口与外部进行通信，处理模块还用于实现第一方面提供的优化方法。

第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被计算机执行时使得计算机实现第一方面提供的优化方法。

第六方面，提供一种包含指令的计算机程序产品，指令被计算机执行时使得计算机实现第一方面提供的优化方法。

本申请提供的方案，通过对机器学习需要优化的超参数分组进行贝叶斯优化，一方面可以对超参数实现降维搜索，另一方面可以弱化降维假设的限制。

附图说明