[发明专利]一种水质自动在线站高频连续观测数据质量控制方法

说明书

本发明公开的一种水质自动在线站高频连续观测数据质量控制方法，通过采集模块获取第一水质观测序列数据，得到时间序列数据集；对时间序列数据集进行差分运算，并进行平稳性检测，得到平稳差分时间序列数据；对其数据确定统计窗口值大小和滑动步长取值范围，按照统计窗口值大小和滑动步长开展滑动检测；通过若干种检测方法进行异常值检测，将得到相应异常值，并进行合并得到综合异常值；对异常值序列点位进行重构处理，得到第二水质观测序列数据，实现水质观测数据质量控制；本发明对水质进行异常值检测，并进行重构，结合数据差分处理、平稳性检验及统计窗口与滑动检测，实现水质自动在线站数据进行质量控制，具有行业推广价值和应用前景。

技术领域

本发明涉及水环境信息技术的研究领域，特别涉及一种水质自动在线站高频连续观测数据质量控制方法。

背景技术

随着污染防治攻坚战不断深入、监测技术的不断发展，自动监测已进入水环境质量监测领域，具有时间和空间上连续监测的优势，弥补了手工监测的不足。地表水水质自动监测系统由地表水水质自动监测站(简称水站)、水质自动监测数据平台(简称数据平台)组成。目前全国已建成2000多个国家地表水水质自动站，大规模水质自动监测站建设和“互联网+”大数据时代的到来，对环境监测与环境管理提出了更高的要求。

河流水质观测异常值或缺失值未适当修正，将对河流水质及污染情况误判，从而可能导致错误的决策。数据质量控制离不开数据挖掘程序算法和专家经验。目前国内外数据质量控制技术的在海洋观测数据方面应用较多，对于地表水监测数据质量控制方面的研究较少。随着大规模地表水水质自动监测站建设，水质监测频率大幅提高，数据量日益增加，怎样结合人为经验与计算机算法有效地提取、选择和处理获取的数据，实现数据的可靠性、保证信息的完整性并降低数据的不确定性，是亟待解决的问题。地表水水质参数之间具有协同或相反变化趋势，通过专家先验知识对参数相关性与趋势性分析对数据异常值把控不可或缺。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种水质自动在线站高频连续观测数据质量控制方法，为了水质自动在线站高频连续观测数据异常值检测和数据集质量控制，提出了水质高频连续观测时间序列数据平稳处理方法并进行平稳性检验，在此基础上提出如下核心假设：在一个较短的时间内，获取测量属性的值近似表现为一种物理状态，即等同于异常值检测中的平行重复观测。选择3种核心质量控制算法应用于单参数和多参数高频观测时间序列的异常值检测，并在此基础上实现对异常数据的重构，是水质自动在线观测数据的质量控制一种实际可行的操作方法。

本发明的目的通过以下的技术方案实现：

一种水质自动在线站高频连续观测数据质量控制方法，其特征在于，包括以下步骤：

通过水质传感器采集模块连续获取第一水质观测序列数据，得到时间序列数据，并建立数据集；

对时间序列数据集进行差分运算，并对差分时间序列进行平稳性检测，得到平稳差分时间序列数据；

对平稳差分时间序列数据，确定统计窗口值大小和滑动步长取值范围，按照统计窗口值大小和滑动步长开展滑动检测；

通过若干种检测方法进行异常值检测，将得到相应异常值，并对不同方法的结果进行合并，得到综合异常值；

对异常值序列点位进行重构处理，得到第二水质观测序列数据，实现高频连续的水质观测数据质量控制。

进一步地，所述第一水质观测序列为水质传感器采集模块获得的连续高频数据序列；所述第二水质观测序列为异常值检测并进行重构处理后得到的新的序列。

进一步地，所述差分运算具体如下：