[发明专利]数据识别清洗及补偿方法、装置、电子设备及存储介质

权利要求书

1.一种数据识别清洗及补偿方法，其特征在于，包括：

获取待清洗数据；其中，所述待清洗数据具有多个属性特征；

基于改进的k-Means聚类算法对所述待清洗数据进行聚类；其中，改进的k-Means聚类算法为对所述待清洗数据的多个属性特征引入属性权值来改变聚类准则函数的方式；

根据预设的异常数据离群距离剔除聚类结果中异常数据得到清洗结果；

基于改进的随机森林算法对所述清洗结果进行补偿得到补偿结果；其中，改进的随机森林算法为采用插值方法优化随机森林输入数据的方式。

2.根据权利要求1所述的数据识别清洗及补偿方法，其特征在于，基于改进的k-Means聚类算法对所述待清洗数据进行聚类的过程，包括：

从所述待清洗数据中随机获取若干数据作为初始聚类簇心；

构建第一聚类目标函数；

根据所述初始聚类簇心对所述第一聚类目标函数进行聚类求解得到所述待清洗数据对应的若干中间目标聚类簇心；

构建第二聚类目标函数；

根据所述中间目标聚类簇心对所述第二聚类目标函数进行权值求解得到所述待清洗数据中每一属性对应的属性权值；

根据所述属性权值对所述第二聚类目标函数进行聚类求解得到所述待清洗数据对应的若干目标聚类簇心。

3.根据权利要求2所述的数据识别清洗及补偿方法，其特征在于，构建的第一聚类目标函数公式表示为：

其中，X表示所述待清洗数据的属性特征数目，M表示所述初始聚类簇心的数目，P表示待清洗数据集合，P_x表示所述待清洗数据集合P中任意一样本数据，M_m表示第m个初始聚类簇心，d(·)表示求欧式距离。

4.根据权利要求2所述的数据识别清洗及补偿方法，其特征在于，构建的第二聚类目标函数公式表示为：

其中，X表示所述待清洗数据的属性特征数目，N表示所述中间目标聚类簇心的数目，λ^l表示第l类待清洗数据对应的属性权值，表示第l类待清洗数据的样本集合，x表示该集合中样本数目，表示第l类待清洗数据对应的第n个中间目标聚类簇心，||·||²表示求解最小化平方误差。

5.根据权利要求2所述的数据识别清洗及补偿方法，其特征在于，所述根据所述中间目标聚类簇心对所述第二聚类目标函数进行权值求解得到所述待清洗数据中每一属性对应的属性权值，包括：

采用拉格朗日函数求解方式，根据所述中间目标聚类簇心对所述第二聚类目标函数进行权值求解得到所述待清洗数据中每一属性对应的所述属性权值。

6.根据权利要求1所述的数据识别清洗及补偿方法，其特征在于，基于改进的随机森林算法对所述清洗结果进行补偿的过程，包括：

对所述清洗结果进行插值得到插值矩阵；

根据所述插值矩阵构建随机森林回归模型；

针对所述插值矩阵的每一列，将该列作为目标填充列时，剩余列的数据形成填充矩阵；利用构建的随机森林回归模型，根据所述填充矩阵和所述目标填充列对应的数据进行预测得到该目标填充列的预测结果，将该预测结果作为对应列的所述补偿结果。

7.根据权利要求6所述的数据识别清洗及补偿方法，其特征在于，所述对所述清洗结果进行插值得到插值矩阵，包括：

利用线性插值法对所述清洗结果进行插值得到所述插值矩阵；其中，所述插值矩阵与所述待清洗数据的大小相同。