[发明专利]基于回归模型的数据清洗方法

说明书

本发明公开的一种基于回归模型的数据清洗方法，所述数据清洗方法包括以下步骤：S1.首先，根据所采集参数性质确定宽规则的阀值范围，对采集的数据中明显错误、异常的野值进行粗识别清洗；S2.然后，根据任一时刻采样值动态阀值，对步骤S1处理后的数据进行基于回归模型的精细识别清洗；S3.最后，利用回归平滑模型对步骤S1、S2识别出的野值对应采集时刻的真实值进行估算并替换。本发明实现了大数据处理中的错误数据清洗，对于明显的野值采用阈值粗识别提高识别效率，对于不易发现的野值采用精细识别提高野值的识别精确度，同时采用回归平滑模型提高了野值估计值的准确性。

技术领域

本发明属于大数据处理技术领域，涉及数据野值识别和替换，具体为一种基于回归模型的数据清洗方法。

背景技术

在大数据处理领域中数据有效性和数据质量是后续数据应用的前提，数据清洗也即数据预处理，是大数据处理的一个重要环节。数据清洗原理即通过分析“脏数据”的产生原因和存在形式，利用现有的技术手段和方法去清洗“脏数据”，将原有的不符合要求的数据转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。数据清洗的主要任务包括三个：不完整数据的清洗、错误数据的清洗和重复数据的清洗。

对于遥测和数据采集领域，错误数据清洗是数据清洗的主要任务。由于振动、温度以及平台因素对采集电路的影响，会出现错误和异常的采集数据，被称为孤立值、飞值、野值或者奇异值。采集数据中野值的存在会使分析结果产生严重错误，因此对采集数据进行清洗的主要任务是对飞值或野值的清洗。

错误数据也称为噪声数据或孤立点。主要的清洗方法有：

①用概率统计分析的方法或人工智能的方法来识别属性可能的错误值或异常值；

②分箱：分箱方法通过考察属性值的周围的值来平滑属性的值。属性值被分布到一些等深或等宽的“箱”中，按照箱中属性值的平均值或中值来替换“箱”中的属性值。

③使用简单规则库检测、修正数据的错误；

④使用不同的属性间的约束检测和修正错误；

⑤使用外部数据检测或修正错误。

采集数据清洗中野值的识别与处理，目前多采用基于规则的方法，即对每一个采集的数据设定一个范围，对采集到的每一个数据值进行判断，超过数值范围的值判定为野值，然后通过周围的值采用最小二乘法等产生一个新值将野值替换掉。这种野值识别的方法存在一定的武断性，可能导致以下两种错误：

①实际采集数据为野值，但并没有超出设定的数值范围，导致野值被漏掉；

②实际采集值为正常值，但超出了设定的数值范围，导致干净的采集数据被清洗。

以上两种情况都会导致大数据处理结果产生错误。

发明内容

本发明的目的是提供一种基于回归模型的数据清洗方法，用于解决现有的错误数据清洗中存在的问题，而提出一种新的大数据识别和处理野值的方法。

为了实现本发明的目的，采用以下技术方案：

基于回归模型的数据清洗方法，所述数据清洗方法包括以下步骤：

S1.首先，根据所采集参数性质确定宽规则的阈值范围，对采集的数据中明显错误、异常的野值进行粗识别清洗；

S2.然后，根据任一时刻采样值的动态阀值，对步骤S1处理后的数据进行基于回归模型的精细识别清洗；所述精细识别具体步骤如下：