[发明专利]一种水质指标融合数据异常检测方法及系统

说明书

本申请提供一种水质指标融合数据异常检测方法及系统，该方法包括如下步骤：获取水质监测历史融合数据和当前时刻水质自动站监测数据；根据获取的水质监测历史融合数据，建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型；将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中，分别输出第一异常数据、第二异常数据和第三异常数据；根据第一异常数据、第二异常数据和第三异常数据，对当前时刻水质进行评估，计算待评估水域的水质恶劣评估总分值。本申请对多层次的水质指标数据进行异常值检测，对当前水质情况和水质改善情况进行评价。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种水质指标融合数据异常检测方法及系统。

背景技术

目前，对水质数据进行异常值检测的算法，主要是利用基于统计原理的极值分析方法，假设水质数据满足正态分布，利用三倍标准差法、四分位数判断法、固定阈值法等极值分析方法，针对每个指标各自计算出合理的区间，当超过区间的上限或者低于区间的下限，则认定该数据为异常值，从而进行数据序列中异常值的筛选。

基于极值分析的方法对单一水质指标的数据进行异常值监测，此分析方法仅适用于数据分布近似于正态分布的情形。但就水质指标数据而言，因为数据呈现的周期性以及趋势性，其分布大多是不规则的偏态分布或多峰分布，应用此方法会导致将正常的水质数据认定为异常值，或者将异常值认定为正常值。此外，水环境中的很多水质指标是具有相关性的，仅对单一的指标数据进行异常值检测，不能发现数据指标组合发生的异常信息,另外，需要对当前水质情况和水质改善情况进行评价，以为水质的整治提供有力的支持。

发明内容

本申请的目的在于提供一种水质指标融合数据异常检测方法及系统， 对全指标、关联指标、单一指标等多层次的水质指标数据进行异常值检测，检测异常数据，提前预判水环境要发生的恶化，保证水环境质量监测数据的客观真实性，为水环境管理工作提供数据决策支持，对当前水质情况和水质改善情况进行评价，为水质的整治提供有力的支持。

为达到上述目的，本申请提供一种水质指标融合数据异常检测方法，该方法包括如下步骤：获取水质监测历史融合数据和当前时刻水质自动站监测数据；根据获取的水质监测历史融合数据，建立全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型；将获取的当前时刻水质自动站监测数据输入到建立的全指标孤立森林检测模型、关联指标异常检测模型和单指标异常检测模型中，分别输出第一异常数据、第二异常数据和第三异常数据；根据第一异常数据、第二异常数据和第三异常数据，对当前时刻水质进行评估，计算待评估水域的水质恶劣评估总分值。

如上的，其中，一种水质指标融合数据异常检测方法还包括如下步骤：根据第一异常数据、第二异常数据和第三异常数据，对待评估水域的水质改善情况进行评估，计算待评估水域的水质改善值。

如上的，其中，根据获取的水质监测历史融合数据，建立全指标孤立森林检测模型的方法包括如下步骤：从水质监测历史融合数据中，选取个全指标样本数据作为子数据集，将子数据集放入一棵孤立树的根节点；其中，为孤立树设定高度限制；在子数据集中随机选择一个指标数据，并随机产生一个切割点；将当前所选指标数据中小于切割点的点放在当前节点的左分支，大于或等于切割点的点放在当前节点的右分支，形成新的叶子节点；在左分支节点和右分支节点不断构造新的叶子节点，直到叶子节点上只有一个指标数据、节点上的指标数据所有特征都相同或孤立树已经生长到了所设定的高度限制。

如上的，其中，建立全指标孤立森林检测模型的方法还包括如下步骤：计算孤立森林中所有全指标样本数据的异常分数。

如上的，其中，孤立森林中所有全指标样本数据的异常分数的计算方法为:计算单个孤立树的平均路径长度；根据单个孤立树的平均路径长度，计算全指标样本数据的异常得分。

如上的，其中，全指标样本数据的异常得分计算公式为：

；