[发明专利]基于衰减权重的数据分类方法

说明书

本发明公开了一种基于衰减权重的数据分类方法，本发明主要解决现有传统的分类方法只能接受数值类型的数据集，忽略数据本身的时间特性，容易过拟合，分类准确率不高的问题。其实现步骤是：1、获取训练样本和预测样本；2、清洗数据；3、生成类型转化数据集；4、标准化处理；5、生成训练集和预测集；6、计算训练集中每个样本的衰减权重；7、利用特征选择方法训练极限梯度增强XGBoost的多分类器；8、对预测集中每个样本进行分类。本发明利用数据本身的时间特性信息赋予样本衰减权重，能够接受更多类型的数据，有效地提高了分类的准确率，可应用于复杂多变的业务场景下的数据分类。

技术领域

本发明属于计算机技术领域，更进一步涉及一种基于衰减权重的数据分类方法。本发明可用于对包含时间信息的数据，例如对生产流中不同时间采集的样本，进行预测分类。

背景技术

分类属于有监督学习的范畴，可以从历史数据记录中把握规律从而推导出未来的数据的趋势，并进一步预测分类标号。数据分类具有广泛的应用，例如：缺陷检测、故障检测、信用卡系统的信用分级、图像识别等领域。分类的目的是学习一个分类器，用于把待分类的数据映射到某个特定类别中。同时在构建分类器之前还需要数据集，现实中很多用于生成数据集的数据包含了时间信息，例如用户购物信息、银行贷款信息、医院就诊信息等等，时间特性与数据紧密相连。

人民搜索网络股份公司在其申请的专利文献“一种机器学习分类方法及装置”(申请号：201310384790.3公开号：CN1034260007B)中公开了一种普适的数据分类方法。该方法首先生成训练配置文件相关的数据格式定义、分类任务的任务参数等，然后对训练样本进行训练得到分类器模型，并根据分类拓补结构建立多级分类结构，接着将待分类数据导入分类器模型中，利用多级分类结构逐渐判断待分类数据的类别。该方法存在的不足之处是：该方法未对训练样本进行处理，只能接受数值类型的数据组成的样本集，抛弃了样本集中除数值类型之外其他类型的数据，没有进行特征选择，分类器模型容易过拟合。

小米科技有限责任公司在其申请的专利文献“数据分类方法及装置”(申请号：201410838127.0公开号：CN104572930A)中公开了一种加速迭代的数据分类方法。该方法首先在预设样本数据库中分别选取第一训练样本集和第二训练样本集，然后确定第一训练样本集的平均延边，利用预设迭代算法对平均样本进行迭代运算，得到第一训练样本集的分类模型，接着将第二训练样本集中的每个训练样本在分类模型下分解得到一个训练稀疏系数向量，并将得到的所有训练系数向量级联得到训练矩阵，最后根据第二训练样本集中的每个训练样本的类别确定训练矩阵中每个列向量的类别标签，通过计算与训练矩阵列向量的汉明距离确定样本的目标类别。该方法存在的不足之处是：该方法将大量样本进行平均处理，得到一个平均样本，使得这些被平均的样本无法被分类器训练到，存在欠拟合的可能，忽略了数据本身与时间关系密切的特性。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于衰减权重的数据分类方法，有效利用了样本自身具备的时间特性的信息，赋予训练样本衰减权重，提高了数据分类的准确性。

实现本发明目的的思路是：先对训练样本集和预测样本集依次进行清洗、类型转化和标准化，然后用训练集中每个样本业务流产生的时间减去训练集的生成时间，得到偏移时间差值，利用时间衰减公式，计算得到每个样本的衰减权重，再利用特征选择方法训练极限梯度增强XGBoost的多分类器，最后对预测集中样本进行分类。

实现本发明目的的具体步骤如下：

(1)获取训练样本和预测样本：

(1a)提取包含至少有两个类别且每个类别至少有一个样本的原始数据，组成初始训练集；并提取每个训练样本对应的标签数据；

(1b)提取包含至少有一个类别且每个类别至少有一个样本的原始数据，组成初始预测集；

(2)清洗数据：