[发明专利]数据识别清洗及补偿方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据识别清洗及补偿方法、装置、电子设备及存储介质，包括：获取待清洗数据；其中，待清洗数据具有多个属性特征；基于改进的k‑Means聚类算法对待清洗数据进行聚类；其中，改进的k‑Means聚类算法为对待清洗数据的多个属性特征引入属性权值来改变聚类准则函数的方式；根据预设的异常数据离群距离剔除聚类结果中异常数据得到清洗结果；基于改进的随机森林算法对清洗结果进行补偿得到补偿结果；其中，改进的随机森林算法为采用插值方法优化随机森林输入数据的方式。本发明是一种将数据清洗与补偿紧密结合考虑的方法，可以得到更好的数据清洗与补偿效果。

技术领域

本发明属于计算机数据清洗技术领域，具体涉及一种数据识别清洗及补偿方法、装置、电子设备及存储介质。

背景技术

目前，数据正以前所未有的速度不断产生。随着各种各样数据采集设备的普及使用，海量的数据日以继夜的被积累和使用。随着物联网应用在实际生活与生产中的普及，其以数据为中心的特点日益凸显。密集部署的传感器节点会产生大量的传感器数据，由于节点能量受限、监测环境较为复杂、节点容易遭受外界攻击等，经常出现异常值，由于存在多种随机因素导致采集到的数据不可避免地掺杂一些异常数据，不能转为有用的信息，因此，如何提高数据质量成为提高数据利用效率的关键问题，对采集数据进行清洗，设计物联网异常数据清洗算法，保证数据可靠、准确是是物联网数据分析中的关键问题。

目前数据清洗的研究很多，比如：严英杰，盛戈皞，陈玉峰等提出了“基于时间序列分析的输变电设备状态大数据清洗方法.电力系统自动化,2015(7):7.”，对输变电设备的异常数据进行了分类，采用一种基于时间序列分析的双循环迭代检验法，对变压器和线路的数据进行清洗，得到了较高质量的数据；杨东华，李宁宁，王宏志等提出了“基于任务合并的并行大数据清洗过程优化[J].计算机学报,2016,39(1):12.”，针对并行数据的清洗问题进行了研究，提出了基于任务合并的优化技术，对冗余计算和同一文件进行合并，降低了系统的运行时间，提高了数据清洗的效率；代杰杰，宋辉，杨祎等提出了“基于栈式降噪自编码器的输变电设备状态数据清洗方法[J].电力系统自动化,2017,041(012):224-230.”，采用栈式自编码器方法，对输变电设备正常及异常的数据进行学习，建立起缺失数据和设备异常的模型，实验结果证明，该方法能够有效过滤干扰数据。

但是，上述提出的清洗方法，都只是对数据进行清洗，清洗势必会带来数据的质量的折损，若缺少对清洗后数据的有效补偿，即使清洗可以带来一定质量的提升，但是质量提升空间有限。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种数据识别清洗及补偿方法、装置、电子设备及存储介质。本发明要解决的技术问题通过以下技术方案实现：

第一方面，本发明实施例提供了一种数据识别清洗及补偿方法，包括：

获取待清洗数据；其中，所述待清洗数据具有多个属性特征；

基于改进的k-Means聚类算法对所述待清洗数据进行聚类；其中，改进的k-Means聚类算法为对所述待清洗数据的多个属性特征引入属性权值来改变聚类准则函数的方式；

根据预设的异常数据离群距离剔除聚类结果中异常数据得到清洗结果；

基于改进的随机森林算法对所述清洗结果进行补偿得到补偿结果；其中，改进的随机森林算法为采用插值方法优化随机森林输入数据的方式。

在本发明的一个实施例中，基于改进的k-Means聚类算法对所述待清洗数据进行聚类的过程，包括：

从所述待清洗数据中随机获取若干数据作为初始聚类簇心；

构建第一聚类目标函数；

根据所述初始聚类簇心对所述第一聚类目标函数进行聚类求解得到所述待清洗数据对应的若干中间目标聚类簇心；

构建第二聚类目标函数；