[发明专利]处理特征变量的方法、计算机可读存储介质及计算机设备在审
| 申请号: | 201910057671.4 | 申请日: | 2019-01-22 |
| 公开(公告)号: | CN109816117A | 公开(公告)日: | 2019-05-28 |
| 发明(设计)人: | 柴磊;许靖;李红一;尹帅 | 申请(专利权)人: | 深圳魔数智擎科技有限公司 |
| 主分类号: | G06N20/00 | 分类号: | G06N20/00 |
| 代理公司: | 深圳市铭粤知识产权代理有限公司 44304 | 代理人: | 孙伟峰;武岑飞 |
| 地址: | 518000 广东省深圳市南山区前海深港合作区*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 特征变量 惩罚因子 偏离度 缺失率 计算机可读存储介质 机器学习模型 计算机设备 提升机器 有效处理 拟合 样本 惩罚 学习 | ||
1.一种处理特征变量的方法,其特征在于,所述方法包括:
获取多个包括多个特征变量的样本中每个特征变量的缺失率和偏离度;
根据每个特征变量的所述缺失率和所述偏离度计算出对应每个特征变量的惩罚因子;
利用所述惩罚因子对相应的特征变量进行惩罚处理。
2.根据权利要求1所述的方法,其特征在于,获取所述特征变量的缺失率的方法包括:
确定所述特征变量是否存在值缺失;
若否,则确定所述特征变量的缺失率为0;
若是,则确定具有所述特征变量的样本的数量,并利用确定的具有所述特征变量的样本的数量除以所有样本的数量,以计算出所述特征变量的缺失率。
3.根据权利要求1所述的方法,其特征在于,获取所述特征变量的偏离度的方法包括:
确定所述特征变量是否为分类型特征变量;
若否,则确定所述特征变量的偏离度为0;
若是,则利用下面的式子计算出所述特征变量的偏离度,
其中,devi表示所述分类型特征变量的偏离度,Count表示非空样本的数量,num表示所述分类型特征变量中值的类别数量。
4.根据权利要求3所述的方法,其特征在于,如果devi<0,则令devi=0。
5.根据权利要求1所述的方法,其特征在于,根据每个特征变量的所述缺失率和所述偏离度并利用下面的式子计算出对应每个特征变量的惩罚因子,
penalty=(1-missing_rate)missing_penalty*(1-devi)cate_penalty
其中,penalty表示惩罚因子,missing_penalt表示缺失惩罚系数,cate_penalty表示分类惩罚系数,missing_rate表示每个特征变量的缺失率,devi表示每个特征变量的偏离度。
6.根据权利要求5所述的方法,其特征在于,获取对应每个存在值缺失的特征变量的缺失惩罚系数的方法包括:
使与所述存在值缺失的特征变量对应的惩罚因子在大于0且小于1的区间内取各不相同的多个值;
利用各不相同的多个惩罚因子分别对所述存在值缺失的特征变量进行惩罚,以得到各不相同的多个被惩罚的特征变量;
根据各个被惩罚的特征变量与多个样本中未被惩罚的特征变量分别对机器学习模型进行训练,以得到多个不同的机器学习模型;
获取各个机器学习模型的AUC值,其中,所述AUC值指的是受试者工作特征曲线下与坐标轴围成的面积;
根据AUC值最大的机器学习模型对应的惩罚因子和所述存在值缺失的特征变量的缺失率计算出对应所述存在值缺失的特征变量的缺失惩罚系数。
7.根据权利要求5所述的方法,其特征在于,获取对应每个分类型特征变量的分类惩罚系数的方法包括:
使与所述分类型特征变量对应的惩罚因子在大于0且小于1的区间内取各不相同的多个值;
利用各不相同的多个惩罚因子分别对所述分类型特征变量进行惩罚,以得到各不相同的多个被惩罚的特征变量;
根据各个被惩罚的特征变量与多个样本中未被惩罚的特征变量分别对机器学习模型进行训练,以得到多个不同的机器学习模型;
获取各个机器学习模型的AUC值,其中,所述AUC值指的是受试者工作特征曲线下与坐标轴围成的面积;
根据AUC值最大的机器学习模型对应的惩罚因子和所述分类型特征变量的偏离度计算出对应所述分类型特征变量的分类惩罚系数。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有处理特征变量的程序,所述处理特征变量的程序被处理器执行时实现如权利要求1至7任一项所述的处理特征变量的方法。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的处理特征变量的程序,所述处理特征变量的程序被处理器执行时实现如权利要求1至7任一项所述的处理特征变量的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳魔数智擎科技有限公司,未经深圳魔数智擎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910057671.4/1.html,转载请声明来源钻瓜专利网。





