[发明专利]训练模型时的多轮循环特征选择方法和装置

说明书

本发明提供了一种训练模型时的多轮循环特征选择方法和装置，其中方法包括：S1将建模样本划分为训练样本和测试样本；S2对训练样本进行等频划分，得到L份数据；S3分别对全部备选特征进行初步筛选得到备选特征集；S4随机抽取L份数据中的M份数据作为训练数据，进行逐步回归拟合，得到筛选后的特征集，对筛选后的特征集使用交叉验证方法，在L份数据上再次进行样本划分，使用其中的T份数据进行训练得到备选模型，并利用L份数据中的剩余份数据对备选模型进行测试，得到初步评估结果，并重复执行K次，得到该筛选后的特征集的综合评估结果；S5重复执行N次S2‑S4，确定最优评估结果和最优模型。

技术领域

本发明涉及特征选择技术领域，尤其涉及一种训练模型时的多轮循环特征选择方法和装置。

背景技术

目前模型训练中，尤其是传统统计学习，例如逻辑回归，使用最大似然估计求解相关特征参数，在给定样本的前提下，特征参数是唯一值。即可认为，在给定前提条件下，目前的求解方式仅仅可以得到一个局部最优解，此结果极容易受到给定样本划分的影响。由于样本划分时，具有随机性，所以此种方式得到的结果具有很高的随机不确定性，无法保证模型训练结果具有高精度和可泛化性，很难在实际生产上使用。

因此，目前模型训练中特征选择效果具有样本强依赖性和高随机性的问题。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的训练模型时的多轮循环特征选择方法和装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种训练模型时的多轮循环特征选择方法，包括：S1，获取建模样本，并将建模样本划分为训练样本和测试样本；S2，对训练样本进行等频划分，得到L份数据，其中，L为预设数；S3，分别对全部备选特征进行初步筛选，初步筛选包括：IV值筛选、随机森林拟合后importance筛选、PCA&共线性剔除和Elastic Net挑选，并对筛选后的特征进行特征处理，得到备选特征集；S4，随机抽取L份数据中的M份数据作为训练数据，进行逐步回归拟合，得到筛选后的特征集，对筛选后的特征集使用交叉验证方法，在L份数据上再次进行样本划分，使用其中的T份数据进行训练得到备选模型，并利用L份数据中的剩余份数据对备选模型进行测试，得到初步评估结果，并重复执行K次，得到该筛选后的特征集的综合评估结果，其中M小于L为预设数，T小于L为预设数，K为预设数；S5，重复执行N次步骤S2-S4，得到多个备选模型和多个对应的评估结果，其中，N为预设数；S6，确定最优评估结果，选取最终特征集；S7，利用最终特征集训练最优模型，输出最优模型。

其中，对训练样本进行等频划分，得到L份数据包括：根据训练样本的训练数据本身分布，对应目标特征和特征表现，对训练样本进行等频划分，得到L份数据。

其中，初步评估结果包括：AUC和KS，筛选后的特征集的评估结果包括：AUC和KS的均值和标准差。

其中，确定最优评估结果，选取最终特征集包括：利用AUC均值最大、AUC标准差最小、KS均值最大和KS均值标准差最小指标选出最终特征集。

其中，方法还包括：S8，利用测试样本对最优模型进行测试。