[发明专利]基于回归模型的数据清洗方法

权利要求书

1.基于回归模型的数据清洗方法，其特征在于，所述数据清洗方法包括以下步骤：

S1.首先，根据所采集参数性质确定宽规则的阈值范围，对采集的数据中明显错误、异常的野值进行粗识别清洗；

S2.然后，根据任一时刻采样值的动态阀值，对步骤S1处理后的数据进行基于回归模型的精细识别清洗；所述精细识别具体步骤如下：

先确定野值长度L_err和参考宽度L_c，所述参考宽度L_c为野值长度L_err的整倍数，所述野值长度L_err指参数数据采集中可能连续出现野值的个数，所述参考宽度L_c指对参数野值做出判断时使用的附近参考采集数据的个数；

其次确定回归模型的参考值和偏离范围，所述参考值设置有前后2个，分别为和所述参考值是当前采集数值附近回归平滑计算后的参考采集数值，所述偏离范围指采集参数当前采集时刻的值可能偏离附近值的大小范围；

再次根据上一步骤获得的参考值和偏离范围R_x(k)，确定动态阈值范围和

根据上一步骤获得的阈值范围和对野值精细识别，当前参数采集数值为x(k)时，按照如下准则对野值进行识别：如果或者则判定该x(k)为野值；

S3.最后，利用回归平滑模型对步骤S1、S2识别出的野值对应采集时刻的真实值进行估算并替换。

2.根据权利要求1所述的基于回归模型的数据清洗方法，其特征在于，步骤S1中，宽规则的阈值范围为所采集参数的极限最小值至极限最大值。

3.根据权利要求1所述的基于回归模型的数据清洗方法，其特征在于，步骤S2中，所述野值长度计算公式为：

L_err＝f_s·t_err，

其中，f_s表示参数采集频率，t_err表示野值持续时间；

所述参考值的计算公式如下：

其中，ρ为当前识别位置与计算参考值的参考数据位置的最小偏移量，为向下取整运算符；

所述偏离范围R_x(k)的计算公式如下：

R_x(k)＝1/f_s·(L_c+L_err)/2·V_max

其中，f_s为参数采集频率，L_err为野值长度，L_c为参考宽度，V_max为参数最大变化速度；

所述动态阈值范围和的计算公式如下：

当时，

当时，。

4.根据权利要求1所述的基于回归模型的数据清洗方法，其特征在于，步骤S2中，所述参考宽度L_c为野值长度L_err的5-10倍。

5.根据权利要求1所述的基于回归模型的数据清洗方法，其特征在于，步骤S3中，基于回归平滑模型的野值真实值估算，具体包括以下步骤：

B1.根据前后2个参考区域计算出两个参考值和计算公式如下：

其中，ρ为当前识别位置与计算参考值的参考数据位置的最小偏移量，为向下取整运算符；

B2.确定发生在k采集时刻的野值估计值，计算公式如下：

6.根据权利要求5所述的基于回归模型的数据清洗方法，其特征在于，步骤B1中，求和项x(k-ρ-i)或者x(k+ρ+i)本身是野值时，舍弃该野值并通过外推对应的项数来得到或

7.根据权利要求6所述的基于回归模型的数据清洗方法，其特征在于，外推对应的项数来得到的其计算公式如下：