[发明专利]训练模型时的多轮循环特征选择方法和装置

权利要求书

1.一种训练模型时的多轮循环特征选择方法，其特征在于，包括：

S1，获取建模样本，并将所述建模样本划分为训练样本和测试样本；

S2，对所述训练样本进行等频划分，得到L份数据，其中，L为预设数；

S3，分别对全部备选特征进行初步筛选，所述初步筛选包括：IV值筛选、随机森林拟合后importance筛选、PCA&共线性剔除和Elastic Net挑选，并对筛选后的特征进行特征处理，得到备选特征集；

S4，随机抽取L份数据中的M份数据作为训练数据，进行逐步回归拟合，得到筛选后的特征集，对所述筛选后的特征集使用交叉验证方法，在所述L份数据上再次进行样本划分，使用其中的T份数据进行训练得到备选模型，并利用所述L份数据中的剩余份数据对所述备选模型进行测试，得到初步评估结果，并重复执行K次，得到该筛选后的特征集的综合评估结果，其中M小于L为预设数，T小于L为预设数，K为预设数；

S5，重复执行N次步骤S2-S4，得到多个备选模型和多个对应的评估结果，其中，N为预设数；

S6，确定最优评估结果，选取最终特征集；

S7，利用所述最终特征集训练最优模型，输出所述最优模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述训练样本进行等频划分，得到L份数据包括：

根据所述训练样本的训练数据本身分布，对应目标特征和特征表现，对所述训练样本进行等频划分，得到L份数据。

3.根据权利要求1所述的方法，其特征在于，所述初步评估结果包括：AUC和KS，所述筛选后的特征集的评估结果包括：AUC和KS的均值和标准差。

4.根据权利要求3所述的方法，其特征在于，所述确定最优评估结果，选取最终特征集包括：

利用AUC均值最大、AUC标准差最小、KS均值最大和KS均值标准差最小指标选出所述最终特征集。

5.根据权利要求1所述的方法，其特征在于，还包括：

S8，利用所述测试样本对所述最优模型进行测试。

6.一种训练模型时的多轮循环特征选择装置，其特征在于，包括：

获取模块，用于获取建模样本，并将所述建模样本划分为训练样本和测试样本；

划分模块，用于对所述训练样本进行等频划分，得到L份数据，其中，L为预设数；

初筛模块，用于分别对全部备选特征进行初步筛选，所述初步筛选包括：IV值筛选、随机森林拟合后importance筛选、PCA&共线性剔除和Elastic Net挑选，并对筛选后的特征进行特征处理，得到备选特征集；

评估模块，用于随机抽取L份数据中的M份数据作为训练数据，进行逐步回归拟合，得到筛选后的特征集，对所述筛选后的特征集使用交叉验证方法，在所述L份数据上再次进行样本划分，使用其中的T份数据进行训练得到备选模型，并利用所述L份数据中的剩余份数据对所述备选模型进行测试，得到初步评估结果，并重复执行K次，得到该筛选后的特征集的综合评估结果，其中M小于L为预设数，T小于L为预设数，K为预设数；

执行模块，用于通知所述划分模块、所述初筛模块、所述评估模块重复执行N次操作，得到多个备选模型和多个对应的评估结果，其中，N为预设数；

选取模块，用于确定最优评估结果，选取最终特征集；

输出模块，用于利用所述最终特征集训练最优模型，输出所述最优模型。

7.根据权利要求6所述的装置，其特征在于，所述划分模块通过如下方式对所述训练样本进行等频划分，得到L份数据：

所述划分模块，具体用于根据所述训练样本的训练数据本身分布，对应目标特征和特征表现，对所述训练样本进行等频划分，得到L份数据。

8.根据权利要求6所述的装置，其特征在于，所述初步评估结果包括：AUC和KS，所述筛选后的特征集的评估结果包括：AUC和KS的均值和标准差。