[发明专利]基于自动机器学习的推荐与校准方法

说明书

本发明公开了一种基于自动机器学习的推荐与校准方法，包括下述步骤：获取已有机器学习经验，得到经验数据集，从经验数据集中采样训练对，得到用于训练性能度量器的训练集；在训练集上通过孪生网络的方式训练性能度量器，训练时，每一训练对得到两个对应不同经验的性能度量值，所述性能度量值的大小用于表征最终结果的优劣；构造并提取候选方案的元特征，通过训练好的性能度量器得到一组性能度量值集，通过性能度量值的大小关系来进行推荐和校准。本发明通过构造训练对，使用元特征对各个因素进行分析，训练性能度量器，实现对机器学习改进方向的推荐与自动校准。

技术领域

本发明涉及自动机器学习技术领域，具体涉及一种基于自动机器学习的推荐与校准方法。

背景技术

在有关推荐和选择的自动机器学习相关研究中，主要包含训练前利用过去经验选择较好方案和训练中不断调整方案两种思路。

训练前利用已有经验进行选择，即通过过往计算过的机器学习结果来预测在新问题上的方案的效果进行选择，最常使用的方法有专家推荐和元学习；专家推荐，即人为提取经验信息进而分析新问题的特征寻找较好方案；元学习，则是通过构造问题的元特征，利用近邻和分类的方式来寻找与新问题最接近的问题情况，进行选择，典型的工作如：AST、DecT、ARML等。

训练中不断调整方案，即在不断训练的过程中，根据前几次的训练结果预测未训练的情况，寻找一个更可能取得好结果的方向进行下一次的训练，常用的方法有贝叶斯优化、进化算法和遗传算法等；其中较为典型的工作包含TPOT等。

此外，不少工作中将两者思路相结合，先根据已有经验选择出较好的初始方案，在此基础上再进行进一步的训练，如Auto-Weak、Auto-Sklearn。

但上述现有技术主要存在着三个方面的缺陷：数据稠密性要求高、候选方案数较少和组合影响考虑缺失。

首先，数据稠密性要求高是指过往用于学习的经验数据集通常要求其为稠密的，即每个用于考虑的方案都需要在经验的任务有过计算；这是由于过往研究中的经验数据都是由研究者自己生成，或是某个组织机构生成的，具有较高的稠密性，所以所提出的技术多是依赖于稠密输入的方法，但随着机器学习参与者越发增多、开源的数据挖掘平台的出现，如今的经验多为稀疏的输入，以往稠密的方法不再适用。

其次，候选方案数较少，在不使用贝叶斯优化等不断训练的方式的时候，过往技术所能考虑的方案数量较少；一方面，由于数据稠密性要求高的缺陷，过往考虑生成稠密数据时，方案的增多意味着大量计算代价的付出，受到资源限制过往研究考虑方案较少；另一方面，由于数据量较少，过多的候选方案会导致过往基于近邻、分类方法的最终结果较差，因而过往方法所考虑方案数较少。

最后，组合影响考虑缺失，即对各个影响因素对最终结果的影响通常是组合式存在的，但过往较少考虑这些因素的组合影响；由于各种因素的影响较为复杂，过往研究更多针对某一因素的影响展开，而对于组合的影响来说，则主要通过对操作的方式组合来分析。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于自动机器学习的推荐与校准方法，实现对机器学习改进方向的推荐与自动校准。

为了达到上述目的，本发明采用以下技术方案:

本发明提供了一种基于自动机器学习的推荐与校准方法，包括下述步骤：

S1、获取已有的机器学习经验，得到经验数据集，从经验数据集中采样训练对，得到用于训练性能度量器的训练集；

S2、在训练集上通过孪生网络的方式训练性能度量器，每一训练对得到两个对应不同的经验的性能度量值，所述性能度量值的大小用于表征最终结果的优劣；

S3、构造并提取候选方案的元特征，通过训练好的性能度量器得到一组性能度量值集，通过性能度量值的大小关系进行推荐和校准。