[发明专利]一种水污染源监测数据的审核方法及系统

说明书

本发明公开了一种水污染源监测数据的审核方法及系统，先从数据库中获取训练数据，按监测站点不同将污染物浓度数据分别存储到各数据表中，对列表中的污染物浓度数据进行规约，实现对重复无关属性的约减，然后对约减后的数据分别进行缺失值填补、逻辑错误值去除、原发性异常数值清除，采用z‑score变换进行数据规约变换，将所有属性数值变化到一个预设区间内，再使用有监督分类方法数据进行训练，得到训练模型，最后获取待审核数据，采用同样的方法对待审核数据进行处理，并将处理的后结果输入至训练模型中进行欺诈性异常数据，从而获得审核结果。本发明解决在线监测数据审核效率低、漏查和错查的问题，提高数据审核的效率和质量。

技术领域

本发明属于环境保护领域，更具体地，涉及一种水污染源监测数据的审核方法及系统。

背景技术

目前，我国大多数环保部门污染物数据审核过程大多是通过人工审查的方法。污染源监测在绝大数情况下只是对数据进行简单地统计汇总和报告报表编写，数据处理相对简单，准确性、客观性和全面性等都有很大的局限性，无法达到科学监管的要求。此外，人工审查方法的缺点还有自动化水平不高，效率低下且容易受人的主观因素影响。不同经验的人对污染源审核的准确性也有一定的差别，甚至会出现漏查、错查等问题。由于我国污染源在线监测工作起步较晚，但发展迅速，规模大的特点，而且随着监测站点增多，监测站点的类型变得复杂多样，欺诈的手法也多种多样而且操作极其隐蔽，采用人工识别对比的手段难以准确发现其中的异常数据。基于此，如何弥补人工审核带来的效率低下、错查和漏查是一个大的难题。

发明内容

本发明提供了一种水污染源监测数据的审核方法及系统，其目的是解决监测数据审核效率低、漏查和错查的问题(尤其是在在线监测时)，提高数据审核的效率和质量。

根据本发明的其中一方面，本发明为解决其技术问题，提供了一种水污染源监测数据的审核方法，包含如下步骤：

(1)从数据库中获取训练数据，按监测站点不同将污染物浓度数据分别存储到各数据表中；

(2)对列表中的污染物浓度数据进行规约，实现对重复无关属性的约减；

(3)对约减后的数据分别进行缺失值填补、逻辑错误值去除、原发性异常数值清除；

(4)采用z-score变换对步骤(3)处理后的数据进行数据规约变换，将所有属性数值变化到一个预设区间内；

(5)使用有监督分类方法对步骤(4)处理的数据进行训练，得到训练模型；

(6)获取待审核数据，采用与(1)-(4)中同样的方法对待审核数据进行处理，并将处理的后结果输入至步骤(5)中的训练模型中进行欺诈性异常数据检测，从而获得审核结果。

进一步地，在本发明的水污染源监测数据的审核方法中，所述步骤(1)包括以下子步骤：

(1-1)采用SQL语句分别筛选原始数据中各个监测站点数据；

(1-2)对于任意一个监测站点的数据：将该监测站点的数据以污染物浓度为属性，按时间顺序重新排列数据表。

进一步地，在本发明的水污染源监测数据的审核方法中，所述步骤(2)包括以下子步骤：

(2-1)实时值和折算值大小一致，约减掉折算值或者实施值；

(2-2)删除监测站点属性；

(2-3)数据标志和上传标志的属性作删除处理。

进一步地，在本发明的水污染源监测数据的审核方法中，所述步骤(3)中原发性异常数值清除包括以下子步骤：

(3-1)对约减处理后的数据应用基于k-means聚类的CBLOF离群因子检测方法检测异常值，通过调节k-means的参数k寻找异常点数目抛物线的极值；