[发明专利]一种边坡形变监测数据的数据清洗方法

说明书

本发明提供一种边坡形变监测数据的数据清洗方法，包括以下步骤：S1、对原始监测数据采用时间序列分解法对异常跳变数据进行删除，得到第一清洗数据；S2、对第一清洗数据采用线性回归填充对缺失数据进行填充，得到第二清洗数据；S3、对第二清洗数据依次采用肖维涅准则、罗曼诺法斯基准则，对粗差数据进行删除，得到第三清洗数据。本发明可以处理掉边坡形变原始监测数据存在的数据异常跳变、数据丢失和粗差数据，减少对后续数据分析处理的影响。

技术领域

本发明涉及数据处理技术领域，具体涉及一种边坡形变监测数据的数据清洗方法。

背景技术

边坡形变监测是一个长时间的过程，采集到的监测数据多种多样。为了保证后续数据分析结果的正确性，有必要对收集到的监测数据进行数据清洗预处理，滤除掉因外界干扰产生的不可靠数据，提高边坡监测数据分析的准确性。

在目前边坡形变监测数据的采集过程中，很多数据超出了数据的正常范围，或不符合正常变化趋势。采集到的边坡形变原始监测数据通常存在以下问题：1、受工程机械、人员、动植物影响导致的数据异常跳变；2、受监测环境通信信道、供电影响导致的数据丢失；3、由于监测设备本身问题，以及受外界环境的干扰导致的粗差数据。而目前在现有技术中，并没有一种技术方案可以对存在以上异常情况的边坡形变原始监测数据进行数据清洗，从而会影响后续的数据处理分析工作。

发明内容

针对现有技术存在的不足，本发明提出一种边坡形变监测数据的数据清洗方法，以解决现有技术中存在的边坡形变原始监测数据存在的数据异常跳变、数据丢失和粗差数据，影响后续数据分析处理的技术问题。

本发明采用的技术方案是，一种边坡形变监测数据的数据清洗方法，包括以下步骤：

对原始监测数据采用时间序列分解法对异常跳变数据进行删除，得到第一清洗数据；

对第一清洗数据采用线性回归填充对缺失数据进行填充，得到第二清洗数据；

对第二清洗数据依次采用肖维涅准则、罗曼诺法斯基准则对粗差数据进行删除，得到第三清洗数据。

进一步的，采用时间序列分解法对异常跳变数据进行删除，具体如下：

S11、对原始监测数据进行趋势去除，得到多个子序列；

S12、对多个子序列使用局部多项式回归拟合进行平滑，将平滑后的多个子序列组合得到第一时间序列；

S13、对第一时间序列进行低通滤波，得到第二时间序列；

S14、根据第二时间序列对第一时间序列进行趋势去除，得到第三时间序列；

S15、根据第三时间序列对原始监测数据进行季节项去除，得到第四时间序列；

S16、对第四时间序列进行趋势平滑；

S17、判断第四时间序列是否收敛：如收敛，得到第一清洗数据；如未收敛，重复步骤S11～S16。

进一步的，对每个子序列使用局部多项式回归拟合进行平滑时，前后各延展1个时间点。

进一步的，对第一时间序列进行低通滤波具体采用以下方式：对第一时间序列进行3次滑动平均，进行1次局部多项式回归拟合。

进一步的，采用线性回归填充对缺失数据进行填充时，线性回归填充模型具体如下：

在上式中，z_k表示第k个缺失值的填充值，a₀、a_i表示线性参数，X_ik表示自变量，ε_k表示随机变量。