[发明专利]处理特征变量的方法、计算机可读存储介质及计算机设备

说明书

本发明公开了一种处理特征变量的方法。所述方法包括：获取多个包括多个特征变量的样本中每个特征变量的缺失率和偏离度；根据每个特征变量的所述缺失率和所述偏离度计算出对应每个特征变量的惩罚因子；利用所述惩罚因子对相应的特征变量进行惩罚处理。本发明可有效处理存在值缺失和/或是分类型特征变量的特征变量，该方法可提升机器学习模型的精度，同时还能够降低机器学习模型过拟合的情况。

技术领域

本发明属于机器学习技术领域，具体地讲，涉及一种处理特征变量的方法、计算机可读存储介质及计算机设备。

背景技术

在机器学习中，特征变量中往往存在大量的缺失特征变量及分类型特征变量。机器学习模型在处理缺失特征变量时将缺失特征变量当做稀疏矩阵来对待，在节点分裂时不考虑的缺失特征变量的数值。缺失特征变量会被分到左子树和右子树分别计算损失，选择较优的那一个，但此方法过于粗暴简单且存在风险。机器学习模型能有效的识别分类型特征变量，但分类型特征变量，尤其是高基数的分类型特征变量，很容易引起机器学习模型过拟合。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种处理特征变量的方法、计算机可读存储介质及计算机设备。

根据本发明的一方面，提供了一种处理特征变量的方法，所述方法包括：获取多个包括多个特征变量的样本中每个特征变量的缺失率和偏离度；根据每个特征变量的所述缺失率和所述偏离度计算出对应每个特征变量的惩罚因子；利用所述惩罚因子对相应的特征变量进行惩罚处理。

进一步地，获取所述特征变量的缺失率的方法包括：确定所述特征变量是否存在值缺失；若否，则确定所述特征变量的缺失率为0；若是，则确定具有所述特征变量的样本的数量，并利用确定的具有所述特征变量的样本的数量除以所有样本的数量，以计算出所述特征变量的缺失率。

进一步地，获取所述特征变量的偏离度的方法包括：确定所述特征变量是否为分类型特征变量；若否，则确定所述特征变量的偏离度为0；若是，则利用下面的式子计算出所述特征变量的偏离度，

其中，devi表示所述分类型特征变量的偏离度，Count表示非空样本的数量，num表示所述分类型特征变量中值的类别数量。

进一步地，如果devi＜0，则令devi＝0。

进一步地，根据每个特征变量的所述缺失率和所述偏离度并利用下面的式子计算出对应每个特征变量的惩罚因子，

penalty＝(1-missing_rate)^{missing_penalty}*(1devi)^cate_penalty

其中，penalty表示惩罚因子，missing_penalt表示缺失惩罚系数，cate_penalty表示分类惩罚系数，missing_rate表示每个特征变量的缺失率，devi表示每个特征变量的偏离度。

进一步地，获取对应每个存在值缺失的特征变量的缺失惩罚系数的方法包括：使与所述存在值缺失的特征变量对应的惩罚因子在大于0且小于1的区间内取各不相同的多个值；利用各不相同的多个惩罚因子分别对所述存在值缺失的特征变量进行惩罚，以得到各不相同的多个被惩罚的特征变量；根据各个被惩罚的特征变量与多个样本中未被惩罚的特征变量分别对机器学习模型进行训练，以得到多个不同的机器学习模型；获取各个机器学习模型的AUC值，其中，所述AUC值指的是受试者工作特征曲线下与坐标轴围成的面积；根据AUC值最大的机器学习模型对应的惩罚因子和所述存在值缺失的特征变量的缺失率计算出对应所述存在值缺失的特征变量的缺失惩罚系数。