[发明专利]一种大量地下水实时自动监测数据自动识别和处理的方法

说明书

本发明涉及一种大量地下水实时自动监测数据自动识别和处理的方法，包括：基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；基于监测站点的埋深值，设置第二数据处理规则，通过第二数据处理规则对第一数据集进行筛选，得到第二数据集；通过连续监测时长的差异，对第二数据集进行分类处理和筛选，获取可疑数据集；通过比测的方法对可疑数据集进行人工确认，并采用直线插补法对可疑数据集中的缺失值进行处理，获取最终数据。本发明实现地下水监测过程中假埋深的自动识别，实现了地下水监测过程中错误数据的自动识别和处理，且能够对于不同长度序列的可疑数据进行识别。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种大量地下水实时自动监测数据自动识别和处理的方法。

背景技术

水文现象存在“确定性过程”和“随机性过程”，确定性过程反映的是水位变化的必然性规律，随机性过程反映偶然性规律。在解决水文问题时，在计算前，通常会对水文资料做一致性分析处理，即还原或还现，以消除或减少人类活动及下垫面变化可能导致的水文变化非平稳性。

Tabachnick等人(1996)将异常值产生的原因划分为四类，错误数据输入(incorrect data entry)、计算编码故障(computer coding failure)、数据污染(datacontamination)和真实数据(true observation)。自国家地下水监测系统运行以来，可将数据异常产生的原因归纳为以下几种情况：

(1)人为因素：监测站运维或进行水样采集、抽水或开采、重新测量地面高程进行基础信息调整等因素引起的数据跳变；更换压力式水位计探头时，数据线长度测量不准或数据线未保持垂直状态；人工比测出现误差或操作错误。

(2)非人为因素：降雨等因素引起的数据跳变；监测站出现井干、井淤、泉干、自流、结冰、地面积水等现象；仪器设备方面出现探头损坏或元器件稳定性不足产生数据漂移；数据传输时由于网络不稳定导致数据缺报、多报或冗余；召测数据由于数据量较大，超过报文字符数，分包发送导致解析错误等情况。

要建立高质量地下水监测数据库，势必要实现在线实时大量数据的自动化识别、处理和修正以提高数据质量，以实现实时入库的数据在某一规则下与历史资料在完整性、一致性、准确性、合理性、代表性等维度达到标准。

发明内容

本发明的目的是提供一种大量地下水实时自动监测数据自动识别和处理的方法，适用于所有类型的地下水水位、埋深监测数据，能够实现在线实时大量地下水埋深和水位数据的自动化识别、处理和修正。

为实现上述目的，本发明提供了如下方案：

一种大量地下水实时自动监测数据自动识别和处理的方法，包括：

基于第一数据处理规则，对接收到的地下水监测数据进行初步筛选，获取第一数据集；

基于监测站点的埋深值，设置第二数据处理规则，通过所述第二数据处理规则对所述第一数据集进行筛选，得到第二数据集；

通过连续监测时长的差异，对所述第二数据集进行分类处理和筛选，获取可疑数据集；

通过比测的方法对所述可疑数据集进行人工确认，并采用直线插补法对所述可疑数据集中的缺失值进行处理，获取最终数据。

优选地，所述第一数据处理规则包括埋深数据处理规则和水位数据处理规则；

其中，所述埋深数据处理规则包括：埋深监测值小于等于0但监测井非自流井；埋深监测值大于井深；埋深监测值等于水位值但地面高程不为0；

所述水位数据处理规则包括：水位值大于地面高程但非自流井；水位值等于埋深值但地面高程不为0。

优选地，获取所述第一数据集包括：