[发明专利]一种基于截断重要性采样的模型与样本双重主动选择方法

权利要求书

1.一种基于截断重要性采样的模型与样本双重主动选择方法，特征在于，主要包括以下步骤：

步骤1)，给定一个候选算法集合作为模型选择空间，其中包括j种常见机器学习模型，例如支持向量机，决策树等；假设标注任务存在少量标记数据，及大量未标记数据；

步骤2)，基于当前标记数据与未标记数据，训练一个采用交叉熵损失的二分类神经网络模型D，用于预测样本是来自标记数据集还是未标记数据集；

步骤3)，将标记数据随机划分为训练集数据与验证集数据；并计算得到每个验证集样本的重要性权重其中为步骤2)训练得到的模型对验证集样本的预测，取值范围属于[0,1]，∧运算符功能为取二者的较小值，τ为超参数；

步骤4)，基于训练集数据与验证集数据，对每个候选算法分别进行超参选择，得到每个候选算法的最佳超参；特别地，进行模型验证时，采用步骤3)得到的重要性权重，对验证集数据进行加权验证；

步骤5)，根据每个候选算法最近C轮超参选择的最佳验证性能，计算验证性能的均值与方差，从候选算法中删除性能较差的算法；特别地，前C轮循环不删除任何候选算法；

步骤6)，根据步骤4)中得到的优胜模型集合，根据优胜模型的预测，选择最不确定的样本查询其标记，并将其加入到标记集合中；

步骤7)，返回步骤2)或结束并输出预测模型a^*。

2.根据权利要求1中所述一种基于截断重要性采样的模型与样本双重主动选择方法，特征在于，所述步骤2)训练神经网络的具体方法为：

搭建一个神经网络模型用于二分类，采用交叉熵损失；将标记数据赋予标记0，无标记无数赋予标记1；其优化目标可以写为如下形式：

其中p_q为标记样本的潜在分布，p_d为整个数据集的样本潜在分布；这里出于主动采样的缘故，使得标记数据与原始数据分布产生偏差，即p_q≠p_d。

3.根据权利要求1中所述一种基于截断重要性采样的模型与样本双重主动选择方法，特征在于，所述步骤3)计算验证集数据的截断重要性权重的具体方法为：

利用步骤2)获得的模型，对验证集数据进行预测，将预测结果记为进一步的，引入超参数τ，当重要性权重大于τ时，将其截断为τ；正式的，对验证集样本的重要性权重可以写为∧运算符功能为取二者的较小值。

4.根据权利要求1中所述一种基于截断重要性采样的模型与样本双重主动选择方法，特征在于，所述步骤4)的模型选择的具体方法为：

对当前候选算法中的每个成员分别利用现有的超参搜索方法执行超参优化(例如SMAC算法)；特别地，在模型验证时，采用步骤3)得到的重要性权重，对验证集数据进行加权计算性能指标；取在搜索过程中，具有最大验证性能的模型作为优胜模型其中t为迭代轮数，g为候选算法个数。

5.根据权利要求1中所述一种基于截断重要性采样的模型与样本双重主动选择方法，特征在于，所述步骤5)过滤不适应当前任务的候选算法的具体方法为：

取每个候选算法最近C轮超参选择的最佳验证性能并计算其均值与标准差其中k为候选算法的索引，为每个优胜模型的验证性能，mean(·)与std(·)为计算均值和方差的函数；，比较任意两两候选算法的上述统计量，若算法k的值小于算法l的值，则将候选算法k从候选集中删去；特别地，前C轮循环不删除任何候选算法。

6.根据权利要求1中所述一种基于截断重要性采样的模型与样本双重主动选择方法，特征在于，所述步骤6)选择查询样本的具体方法为：

根据当前轮迭代得到的候选算法的优胜模型的预测，对每个未标记样本计算：

其中，

为令M_t中验证性能最佳的模型，代表模型对样本在y_i类别上的概率预测；为指示函数，当括号内条件满足时取1，否则取0；β为超参数。