[发明专利]数据处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、计算机设备及存储介质，通过获取待处理数据，对待处理数据进行预处理，生成标准数据集；采用孤立森林算法对标准数据集进行迭代清洗，生成目标数据集；对目标数据集进行特征提取，得到目标数据集的基本特征；根据预设策略确定每一基本特征在目标数据集中的权重；根据每一基本特征在所述目标数据集中的权重，确定目标数据集的必要特征；采用GBDT特征组合算法对每一基本特征进行特征构造，生成交叉组合特征；将交叉组合特征和必要特征进行组合，得到目标特征数据；从而不但避免了得到的目标特征数据存在特征的维度灾难问题，还进一步提高了数据处理的准确性。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

随着大数据时代技术的发展，利用各种数据进行特定的预测、评估或者反馈的应用日趋普遍。通常地，这类应用往往会采集大量的样本数据再通过机器学习或者聚类方法等进行预测、评估或者反馈。而在这个过程中对数据源有着较高的要求，例如：数据源的数量、准确性以及数据源的平衡等，因此需预先对获取的数据源进行处理，以更好地保证后续预测、评估或者反馈的准确性。目前，传统的数据处理方法大部分只停留在数据标准化或者特征重要性判断的层面上，而无法实现对数据进行高效精确的处理。

发明内容

本发明实施例提供一种数据处理方法、装置、计算机设备及存储介质，以解决数据处理的准确率不高问题。

一种数据处理方法，包括：

获取待处理数据，对所述待处理数据进行预处理，得到标准数据集，其中，所述预处理包括缺失值处理、异常值处理、去重处理或噪音数据处理中的至少一项；

采用孤立森林算法对所述标准数据集进行迭代清洗，生成目标数据集；

对所述目标数据集进行特征提取，得到所述目标数据集的基本特征；

根据预设策略确定每一所述基本特征在所述目标数据集中的权重；

根据每一所述基本特征在所述目标数据集中的权重，确定所述目标数据集的必要特征；

采用GBDT特征组合算法对每一所述基本特征进行特征构造，生成交叉组合特征；

将所述交叉组合特征和所述必要特征进行组合，得到目标特征数据。

一种数据处理装置，包括：

预处理模块，用于获取待处理数据，对所述待处理数据进行预处理，得到标准数据集，其中，所述预处理包括缺失值处理、异常值处理、去重处理或噪音数据处理中的至少一项；

迭代清洗模块，用于采用孤立森林算法对所述标准数据集进行迭代清洗，生成目标数据集；

特征提取模块，用于对所述目标数据集进行特征提取，得到所述目标数据集的基本特征；

权重确定模块，用于根据预设策略确定每一所述基本特征在所述目标数据集中的权重；

必要特征确定模块，用于根据每一所述基本特征在所述目标数据集中的权重，确定所述目标数据集的必要特征；

特征构造模块，用于采用GBDT特征组合算法对每一所述基本特征进行特征构造，生成交叉组合特征；

组合模块，用于将所述交叉组合特征和所述必要特征进行组合，得到目标特征数据。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法。