[发明专利]一种滑坡普适型地表位移监测数据缺失及异常值处理方法

说明书

本发明公开了一种滑坡普适型地表位移监测数据缺失及异常值处理方法。该方法先将监测数据中的异常数据进行初剔除后进行分段，之后对分段数据进行异常数据再剔除对分段数据进行数据重组，最后对重组后的数据进行数据缺失判断，当判定数据存在缺失时对重组后的数据进行补充，最终得到目标数据。对应上述技术路线，该方法包括以下五个步骤：步骤S1，异常数据初剔除；步骤S2，数据分段；步骤S3，异常数据再剔除；步骤S4，数据重组；步骤S5，数据缺失补充。本发明的方法既解决了因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等导致监测数据缺失、存在毛刺和噪声等问题，又保证了滑坡地表位移预测结果的准确性。

技术领域

本发明涉及一种滑坡普适型地表位移监测数据缺失及异常值处理方法。

背景技术

滑坡指斜坡上的土体或者岩体，受自然或人为因素影响，在重力作用下，沿着一定的软弱面或软弱带，顺斜坡向下滑移的自然现象。滑坡灾害在我国十分常见，尤其多见于低山、丘陵地区。我国正在经济发展和城市建设的高速时期，伴随人类活动对地形地貌的改造，人工切坡增多，滑坡风险加大。滑坡灾害威胁着人民的生命财产安全，因此需要对滑坡进行充分的数据监测、机理研究和形变预测，避免滑坡灾害造成的生命财产损害。

地表裂缝计、GNSS等滑坡地表位移监测仪器提供了实时的滑坡地表位移监测数据，是滑坡形变分析及滑坡预测的基础。但由于偶发性的仪器问题，如仪器不稳定、设备故障和线路故障等，会造成数据缺失、毛刺和噪声。同时，仪器检修带来的监测数值跳跃式变化会直接导致模型的预测结果出现严重错误。

发明内容

本发明目的在于提供一种滑坡普适型地表位移监测数据缺失及异常值处理方法，该方法能够解决因滑坡地表位移监测仪器不稳定、仪器故障和线路故障等原因导致监测数据缺失、存在毛刺和噪声等问题，从而保证进一步预测和分析结果的准确性。

本发明提供的滑坡普适型地表位移监测数据缺失及异常值处理方法涵盖以下主要功能：剔除数据中的异常数据、补充缺失的数据部分、将数据规则化为基于固定时间频率的时序监测数据，具体包括以下步骤：

步骤S1：异常数据初剔除，剔除超出仪器测量数值范围或显示为仪器设置的错误代码的数据；

步骤S2：数据分段，将经所述步骤S1处理后的数据进行数据分段；

步骤S3：异常数据再剔除，对分段数据分别进行异常数据判断，如判定为异常数据则将其剔除，反之则执行步骤S4；

步骤S4：数据重组，将经所述步骤S3处理后的分段数据进行拼接，并将拼接后的数据转变为基于时间间隔频率的规则化时间序列数据；

步骤S5：数据缺失补充，判断所述步骤S4重组的时间序列数据是否存在缺失，如存在，对数据进行补充，得到目标数据，结束处理；反之则以所述步骤 S4重组的时间序列数据为目标数据，结束处理。

在一些实施方式中，基于上述技术方案，所述步骤S2数据分段采用变点识别将数据拆分为统计指标稳定的不同数据段。

在一些实施方式中，基于上述技术方案，所述步骤S3异常数据再剔除的具体步骤为：判断所述分段数据中的某一时间点数据是否超出阈值判定范围，若超出，则判定为异常数据，作为异常剔除待选项；针对异常剔除待选项进一步进行局部突变判断，若满足局部突变判断，则所述异常剔除待选项确定为异常数据，剔除；反之执行所述步骤S4。

在一些实施方式中，基于上述技术方案，所述分段数据中的某一时间点数据满足以下条件时，判定为该某一时间点数据超出阈值判定范围：

其中，A表示分段数据中的某一时间点数据；Q(i),i∈[0,1]表示分段后的段内数据中占比为i的数据小于Q(i)；high和low分别为设置的样本置信比例区间，N表示两置信比例区间的特征值差值的比例倍数。