[发明专利]数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待处理数据，对所述待处理数据进行预处理，得到标准数据集，其中，所述预处理包括缺失值处理、异常值处理、去重处理或噪音数据处理中的至少一项；

采用孤立森林算法对所述标准数据集进行迭代清洗，生成目标数据集；

对所述目标数据集进行特征提取，得到所述目标数据集的基本特征；所述基本特征是指反映目标数据集的性质的一组特征数据；

根据预设策略确定每一所述基本特征在所述目标数据集中的权重；

根据每一所述基本特征在所述目标数据集中的权重，确定所述目标数据集的必要特征；所述必要特征是指权重排在前n位的基本特征；

采用GBDT特征组合算法对每一所述基本特征进行特征构造，生成交叉组合特征；

将所述交叉组合特征和所述必要特征进行组合，得到目标特征数据；

所述采用孤立森林算法对所述标准数据集进行迭代清洗，生成目标数据集，包括：

获取标准数据集，将所述标准数据集输入预设的孤立森林模型中进行数据筛选，得到正常检测数据；

判断所述正常检测数据的数量值与设定目标值之间的数值差是否大于预设阈值；

若所述正常检测数据的数量值与所述设定目标值之间的数值差大于所述预设阈值，则基于所述正常检测数据对所述孤立森林模型进行迭代训练和数据筛选，直至生成的所述正常检测数据的数量值与所述设定目标值之间的数值差等于或小于所述预设阈值，则将得到的正常检测数据组成目标数据集。

2.如权利要求1所述的数据处理方法，其特征在于，所述将所述标准数据集输入所述孤立森林模型中进行数据筛选，得到正常检测数据，包括：

将所述标准数据集输入所述孤立森林模型中，对所述孤立森林模型中的每一棵随机二叉树进行遍历，确定所述标准数据集中的每一标准数据在所述孤立森林模型中的平均高度值；

将所述平均高度值大于预设的高度阈值的所述标准数据确定为正常检测数据。

3.如权利要求1所述的数据处理方法，其特征在于，所述对所述目标数据集进行特征提取，得到所述目标数据集的基本特征，包括：

获取特征参数集，所述特征参数集包括M个参数标识，M为正整数；

根据每一所述参数标识获取对应的特征提取脚本；

采用所述特征提取脚本对所述目标数据集进行特征提取，得到所述目标数据集的基本特征。

4.如权利要求1所述的数据处理方法，其特征在于，所述采用GBDT特征组合算法对每一所述基本特征进行特征构造，生成交叉组合特征，包括：

获取样本特征，对所述样本特征进行训练，生成目标GBDT模型；

将所述基本特征输入所述目标GBDT模型中进行特征构造，生成交叉组合特征。