[发明专利]基于自动机器学习的推荐与校准方法

权利要求书

1.基于自动机器学习的推荐与校准方法，其特征在于，包括下述步骤：

S1、获取已有的机器学习经验，得到经验数据集，从经验数据集中采样训练对，得到用于训练性能度量器的训练集；

S2、在训练集上通过孪生网络的方式训练性能度量器，每一训练对得到两个对应不同的经验的性能度量值，所述性能度量值的大小用于表征最终结果的优劣；

S3、构造并提取候选方案的元特征，通过训练好的性能度量器得到一组性能度量值集，通过性能度量值的大小关系进行推荐和校准。

2.根据权利要求1所述基于自动机器学习的推荐与校准方法，其特征在于，步骤S1中，每一条机器学习经验包含学习所用方案、学习任务和对应性能结果，单条机器学习经验即为所用方案、学习任务和对应性能结果的组合。

3.根据权利要求2所述基于自动机器学习的推荐与校准方法，其特征在于，所述学习所用方案包括数据处理方式、算法、超参数、模型结构；所述学习任务包括学习所用的数据集、评估指标；所述对应性能结果包括准确率、精度、用时、内存占用。

4.根据权利要求3所述基于自动机器学习的推荐与校准方法，其特征在于，步骤S1中，所述从经验数据集中采样训练对，得到用于训练性能度量器的训练集，具体为：

从学习所用方案和学习任务中提取元特征，获得每一经验的元特征，所述元特征通过数据集上的统计指标、模型指标、算法和超参数的编码进行表征；

从元特征的集合中两两采样得到训练对，并根据两者结果的大小关系计算标签，得到单个训练样本；

重复得到单个训练样本的步骤，指导训练样本的数量到达所需的抽样总数，得到性能度量器的训练集。

5.根据权利要求4所述基于自动机器学习的推荐与校准方法，其特征在于，所述训练对分为不同的类别，最终采样时各个类别的采样比例根据最终性能度量器应用场景的不同而进行调整；无特定说明时，采样则保持各个训练对的类别占比平衡。

6.根据权利要求4所述基于自动机器学习的推荐与校准方法，其特征在于，所述计算标签具体为：

单个训练样本(x_i,x_j,y_ij)，计算公式为：

其中，x_i，x_j分别为训练样本中两个学习经验的元特征表示，p_i，p_j分别为训练样本中两个学习经验的学习结果。

7.根据权利要求1所述基于自动机器学习的推荐与校准方法，其特征在于，步骤S2中，所述在训练集上通过孪生网络的方式训练性能度量器，具体为：

将训练集中每个训练样本(x_i,x_j,y_ij)中的一组x_i和x_j分别通过性能度量器计算得到性能度量值pm_i和pm_j；

利用性能度量值，计算距离d_ij＝sigmoid(pm_i-pm_j)，其中

根据距离和标签y_ij，计算对比损失函数其中，y为计算标签，d为距离，∈为对比损失函数的阈值；

利用计算所得的损失，调整性能度量器模型中每一层的权重参数，从而训练性能度量器。

8.根据权利要求1所述基于自动机器学习的推荐与校准方法，其特征在于，步骤S3具体为：

根据实际问题的情况来构造候选方案集其中I为单个候选方案，n为候选方案的总数；

所述实际问题包括改变算法、调整超参数、更改数据处理方式；

所述候选方案集的构造根据问题实际情况来设计，当处理数据集的代价过大，无法在实际中实现时，则不构造对应的方案；

根据候选方案、改进方向，构造方案对应的元特征表示；元特征的表示方式与所述训练集中的元特征相同；在方案构造时用根据改进的维度对相应因素的元特征作出调整，包括：算法改变影响时，调整方案中对应算法的元特征、改变数据处理时，调整方案中对应数据集的元特征、同时改变两者时，同时改变两者的元特征；

将每一候选方案的元特征表示通过性能度量器，计算得到对应的性能度量值，从而获得一组表示候选方案的性能度量值；

性能度量值的大小关系即为改进校准方案的优劣比较，根据此就可以进行改进方向的推荐和机器学习的自动校准。