[发明专利]一种滑坡普适型地表位移监测数据缺失及异常值处理方法

权利要求书

1.一种滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于，该方法包括以下步骤：

步骤S1：异常数据初剔除，剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；

步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；

步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，如判定为异常数据则将其剔除，反之则执行步骤S4；

步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；

步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤S4重组的时间序列数据为目标数据，结束处理。

2.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S2数据分段采用变点识别将数据拆分为统计指标稳定的不同数据段。

3.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S3异常数据再剔除的具体步骤为：判断所述分段数据中的某一时间点数据是否超出阈值判定范围，若超出，则判定为异常数据，作为异常剔除待选项；针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则所述异常剔除待选项确定为异常数据，剔除；反之执行所述步骤S4。

4.根据权利要求3所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述分段数据中的某一时间点数据满足以下条件时，判定为该某一时间点数据超出阈值判定范围：

其中，A表示分段数据中的某一时间点数据；Q(i),i∈[0,1]表示分段后的段内数据中占比为i的数据小于Q(i)；high和low分别为设置的样本置信比例区间，N表示两置信比例区间的特征值差值的比例倍数。

5.根据权利要求3所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述局部突变判断的具体判断过程为：如果所述异常剔除待选项同时大于或同时小于前序时间点记录和后序时间点记录，则所述异常剔除待选项确定为异常数据。

6.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：所述步骤S4数据重组的具体步骤包括：

步骤S41：数据拼接，将完成异常数据剔除的分段数据按照时间顺序拼接；

步骤S42：确定时间间隔，时间间隔的选取结合业务需求和研究对象的特点，采用符合自然计时规律的时间间隔作为切分单元，将经拼接后的数据切分为落在不同时间段内的数据组；

步骤S43：确定同一时间间隔内的代表性数据的选取规则，并依据规则得到组内代表性数据，各组间组成等时间间隔的规则化时序数据。

7.根据权利要求6所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：在数据重组步骤中，在同一个研究中，针对同一个滑坡宜采用同一套规则进行数据重采样，中途一般不变更代表性数据的选取规则。

8.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：当存在数据缺失时，通过插值补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。

9.根据权利要求1所述的滑坡普适型地表位移监测数据缺失及异常值处理方法，其特征在于：当存在数据缺失时，通过预测补充方法对所述步骤S4重组的规则化时间序列数据中缺失的时间点进行数据补充。