[发明专利]基于机器学习技术的对中标与非中标数据的平衡方法在审
申请号: | 201910404508.0 | 申请日: | 2019-05-15 |
公开(公告)号: | CN110110806A | 公开(公告)日: | 2019-08-09 |
发明(设计)人: | 安程治;宗云兵;李锐;于治楼 | 申请(专利权)人: | 济南浪潮高新科技投资发展有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 阚恭勇 |
地址: | 250100 山东省济南市*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 与非 样本 基于机器 平衡 数据平衡 数量平衡 分类器 算法 学习 预测 | ||
1.基于机器学习技术的对中标与非中标数据的平衡方法,其特征在于,
包括三个步骤:
1)针对CRM数据的特点对数据特征进行选择和构造;
2)将文本类信息转化为数字类信息;
3)对不平衡样本进行平衡。
2.根据权利要求1所述的方法,其特征在于,
从全量的特征中,挑选出数个特征作为模型预测时的输入变量;并对不规范的特征进行处理。
3.根据权利要求1所述的方法,其特征在于,
用python中sklearn.preprocessing包下的LabelEncoder函数;参数设定为LabelEncoder(),即不需要设定参数;将字符串直接编码为数字,且不破坏特征原有的格式,即经过处理后每列数据依旧对应各个特征。
4.根据权利要求1所述的方法,其特征在于,
利用smote算法即利用计算距离的方法在少数类样本集合中找到一个样本的临近样本,然后通过乘以一个随机数对选定的临近样本进行调整来产生新样本。
5.根据权利要求4所述的方法,其特征在于,
实施步骤如下:
a、在CRM数据集中,中标数据为少数类样本集;首先利用python中sklearn.neighbors包下的NearestNeighbors函数计算中标数据集中各个中标样本间的欧式距离,以此来找到各个中标样本在中标数据集中的最相近的若干样本;参数设定为NearestNeighbors(n_neighbors=k).fit(samples),k为所需要到的最相近的若干样本的个数,samples为中标样本数据集;
b、对于每一个少数类样本x,从其k个近邻中随机选择若干个样本xn。
c、对于每一个随机选出来的近邻,分别与原样本按照如下的公式构建新的样本xnew=x+rand(0,1)*|x–xn|,rand(0,1)指的是0到1之间的随机数。随机数可以通过python中rondom包下的random函数实现,参数设定为random()。
d、重复步骤b,c直至中标样本数量达到未中标样本数量,训练样本平衡时停止。
6.根据权利要求5所述的方法,其特征在于,
在步骤b中,当k=5时,从其5个近邻中随机选择2个近邻。
7.根据权利要求6所述的方法,其特征在于,
这个过程通python中random包下的randint函数实现,参数设定为randint(0,4)。
8.根据权利要求7所述的方法,其特征在于,
此函数将会随机返回0到4中五个整数中的任意一个,将此函数运用两次便从5个近邻中随机挑出两个。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于济南浪潮高新科技投资发展有限公司,未经济南浪潮高新科技投资发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910404508.0/1.html,转载请声明来源钻瓜专利网。