[发明专利]一种数据处理方法及装置有效
申请号: | 201711461721.2 | 申请日: | 2017-12-28 |
公开(公告)号: | CN108206046B | 公开(公告)日: | 2021-07-02 |
发明(设计)人: | 樊芳利 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G16H10/00 | 分类号: | G16H10/00 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 450000 河南省郑州市郑州高新*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
从样本数据包含的所有指标中选取目标指标,得到指标集合;
从所述指标集合中选取作为Logistic回归主模型的特征的指标,根据选取的作为Logistic回归主模型的特征的指标的不同,得到多个不同的特征集合;
针对每个所述特征集合:
随机选取多于一个样本数据,从所选取的每一个样本数据中获取与所述特征集合中的所有特征对应的特征值,得到与每一个样本数据对应的第一特征值集合;
利用获取的所有第一特征值集合训练Logistic回归主模型,得到与所述特征集合对应的Logistic回归子模型;
随机选取多于一个样本数据,从所选取的每一个样本数据中获取与所述特征集合中的所有特征对应的特征值,得到与每一个样本数据对应的第二特征值集合;
基于获取的所有第二特征值集合,确定所述Logistic回归子模型对样本数据的分类准确率;
基于每个所述特征集合包含的特征和每个所述特征集合对应的Logistic回归子模型的分类准确率,按照第二预设策略,选择至少一个目标特征集合和对应的目标Logistic回归子模型;
所述方法还包括:
对所述目标Logistic回归子模型进行正则化调整,包括:
分别采用L1正则化策略和L2正则化策略对所述目标Logistic回归子模型进行正则化调整,得到与L1正则化策略对应的第一子模型、与L2正则化策略对应的第二子模型;选择第一子模型和第二子模型中分类准确率波动小的子模型对应的正则化策略作为目标正则化策略;根据所述目标正则化策略对所述目标Logistic回归子模型进行正则化调整。
2.根据权利要求1所述的方法,其特征在于,从所选取的每一个样本数据中获取与所述特征集合中的所有特征对应的特征值,得到与每一个样本数据对应的第二特征值集合时,该方法还包括:针对每个第二特征值集合,从对应的样本数据中获取第一分类结果。
3.根据权利要求2所述的方法,其特征在于,所述基于获取的所有第二特征值集合,确定所述Logistic回归子模型对样本数据的分类准确率,包括:
针对每个第二特征值集合:
将所述第二特征值集合输入所述Logistic回归子模型,得到第二分类结果;
如果所述第二特征值集合对应的所述第一分类结果和所述第二分类结果相同,则确定对所述第二特征值集合对应的样本数据的分类准确;
基于获取的所有第二特征值集合,将所述分类准确的次数与分类总次数的比值作为所述Logistic回归子模型对样本数据的分类准确率。
4.根据权利要求1所述的方法,其特征在于,从所述指标集合中选取作为Logistic回归主模型的特征的指标,得到至少一个特征集合,包括:
针对指标集合中的每个目标指标:
随机选取多于一个样本数据,从所选取的样本数据中获取所述目标指标对应的指标值,得到与所述目标指标对应第一指标值集合;
随机选取多于一个样本数据,从所选取的样本数据中获取所述目标指标对应的指标值,得到与所述目标指标对应第二指标值集合;
分别计算第一指标值集合和第二指标值集合对应的标准偏差平方;
将取值小的标准偏差平方与取值大的标准偏差平方的比值作为所述目标指标的评分;
针对指标集合中的所有目标指标:
按照评分从高到低的顺序对所有目标指标进行排序;
按照所述排序,从前N个目标指标中按照第一预设策略获取至少一个特征集合;每个所述特征集合包括M个目标指标,其中,N、M为正整数,M≤N。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711461721.2/1.html,转载请声明来源钻瓜专利网。