[发明专利]数据特征处理方法及数据特征处理装置

说明书

本发明提供的数据特征处理方法及数据特征处理装置，首先对多组业务数据进行排序得到业务数据排序序列并确定出跨时间验证集以及建模样本数据以采用预设分类器建立识别模型。其次根据识别模型及其增益指标计算业务数据的数据特征的特征重要性数值并以建模样本数据为基准计算相关性系数矩阵。然后根据相关性系数矩阵确定模型待选特征。最后将模型待选特征分批次导入预设分类器以确定模型基准性能数据。如此，能够依据特征重要性数值排序剔除高相关特征，能够减少模型建立过程中的运算时间和内存需求，降低模型复杂度以方便模型的实际运用与后期维护，结合特征重要性与模型性能两个维度在保证模型性能的情况下极大降低模型运算的资源消耗。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据特征处理方法及数据特征处理装置。

背景技术

在对业务数据进行分析识别时，为了提高分析识别的准确性，需要借助识别模型实现对业务数据的分析识别。在对识别模型进行训练时，特征数据的筛选是确保识别模型的识别准确性以及运行性能的关键。然而在实际应用中，现有的对特征数据进行筛选的方法会导致识别模型的预测准确性差，并且会导致识别模型在运行时耗费计算机设备的大量运行时间以及占用计算机设备的存储空间。

发明内容

为了改善上述问题，本发明提供了一种数据特征处理方法及数据特征处理装置。

第一方面，提供了一种数据特征处理方法，应用于数据处理服务器，所述方法包括：

获取多组业务数据；其中，每组业务数据包括n个数据特征，n为正整数；

按照业务数据的获取时刻由近到远的顺序对所述多组业务数据进行排序得到业务数据排序序列；确定排序靠前的第一设定比例的业务数据作为跨时间验证集并确定排序靠后的第二设定比例的业务数据作为建模样本数据；以所述建模样本数据对应的数据特征为模型特征，采用预设分类器建立识别模型；其中，所述第一设定比例和所述第二设定比例的和值为一；

根据所述识别模型及其增益指标计算所述n个数据特征的特征重要性数值，以所述建模样本数据为基准，计算所述n个数据特征中各个数据特征的相关性系数矩阵；其中，所述相关性系数矩阵为n*n矩阵；

从所述相关性系数矩阵中确定出多个目标集合；其中，不同的目标集合之间不存在重复的元素；

删除每个目标集合中具有最大特征重要性数值的数据特征，并将每个目标集合中的剩余的数据特征合并为一个特征集合，将所述n个数据特征中与所述特征集合中的数据特征相同的数据特征剔除，得到模型待选特征；其中，所述特征集合中的数据特征为m个，所述模型待选特征为n-m个，m为小于n的正整数；

将所述模型待选特征按照特征重要性数值由高到低的顺序分批次导入所述预设分类器，获取预设分类器计算出的相邻两个第一性能指标数据的差值；判断所述差值是否符合预设条件；在所述差值符合所述预设条件时，从所述模型待选特征中确定出自动化模型特征并计算所述识别模型在所述跨时间验证集上的第二性能指标数据；根据所述差值以及所述第二性能指标数据确定模型基准性能数据；

将所述自动化模型特征以及所述模型基准性能数据进行关联存储。

可选地，从所述相关性系数矩阵中确定出多个目标集合，包括：

从所述相关性系数矩阵中选取出相关性系数位于设定数值区间内的行名称和列名称并建立多个第一集合；

将具有相同元素的第一集合进行合并以得到多个目标集合。

可选地，将所述模型待选特征按照特征重要性数值由高到低的顺序分批次导入所述预设分类器，获取预设分类器计算出的相邻两个第一性能指标数据的差值，包括：

将所述模型待选特征按照特征重要性数值由高到低的顺序进行排序得到模型待选特征序列；