[发明专利]一种水污染源监测数据的审核方法及系统

权利要求书

1.一种水污染源监测数据的审核方法，其特征在于，包含如下步骤：

(1)从数据库中获取训练数据，按监测站点不同将污染物浓度数据分别存储到各数据表中；

(2)对列表中的污染物浓度数据进行规约，实现对重复无关属性的约减；

(3)对约减后的数据分别进行缺失值填补、逻辑错误值去除、原发性异常数值清除；

(4)采用z-score变换对步骤(3)处理后的数据进行数据规约变换，将所有属性数值变化到一个预设区间内；

(5)使用有监督分类方法对步骤(4)处理的数据进行训练，得到训练模型；

(6)获取待审核数据，采用与(1)-(4)中同样的方法对待审核数据进行处理，并将处理的后结果输入至步骤(5)中的训练模型中进行欺诈性异常数据检测，从而获得审核结果。

2.根据权利要求1所述的水污染源监测数据的审核方法，其特征在于，所述步骤(1)包括以下子步骤：

(1-1)采用SQL语句分别筛选原始数据中各个监测站点数据；

(1-2)对于任意一个监测站点的数据：将该监测站点的数据以污染物浓度为属性，按时间顺序重新排列数据表。

3.根据权利要求1所述的水污染源监测数据的审核方法，其特征在于，所述步骤(2)包括以下子步骤：

(2-1)实时值和折算值大小一致，约减掉折算值或者实施值；

(2-2)删除监测站点属性；

(2-3)数据标志和上传标志的属性作删除处理。

4.根据权利要求1所述的水污染源监测数据的审核方法，其特征在于，所述步骤(3)中原发性异常数值清除包括以下子步骤：

(3-1)对约减处理后的数据应用基于k-means聚类的CBLOF离群因子检测方法检测异常值，通过调节k-means的参数k寻找异常点数目抛物线的极值；

(3-2)在k的极值处，得到离群点对应的数据编号，该编号数据即是异常值，剔除掉这些异常值。

5.根据权利要求1所述的水污染源监测数据的审核方法，其特征在于，所述步骤(5)包括以下子步骤：

(5-1)获取经步骤(4)处理后形成的训练集，训练集中包含正常数据集和欺诈数据集；

(5-2)先将训练集划分为N个样本，采用随机化方法从中选取样本，每一颗决策树随机化选择的样本个数也是N，N为大于1的正整数；

(5-3)随机从样本的所有属性中选取部分属性进行根节点选择，属性选择采用信息增益gini方法；

(5-4)按照步骤(5-2)和(5-3)的方式一共训练M棵决策树，M为大于1的正整数；

(5-5)按照步骤(5-2)～(5-4)建立预设数目的决策树构成随机森林，以形成所述训练模型。

6.一种水污染源监测数据的审核系统，其特征在于，包含如下模块：

数据分类模块，用于从数据库中获取训练数据，按监测站点不同将污染物浓度数据分别存储到各数据表中；

规约处理模块，用于对列表中的污染物浓度数据进行规约，实现对重复无关属性的约减；

数据清洗模块，用于对约减后的数据分别进行缺失值填补、逻辑错误值去除、原发性异常数值清除；

数据变换模块，用于采用z-score变换对数据清洗模块处理后的数据进行数据规约变换，将所有属性数值变化到一个预设区间内；

模型训练模块，用于使用有监督分类方法对数据变换模块处理的数据进行训练，得到训练模型；

数据审核模块，用于获取待审核数据，采用与数据分类模块-数据变换模块中同样的方法对待审核数据进行处理，并将处理的后结果输入至步骤模型训练模块中的训练模型中进行欺诈性异常数据检测，从而获得审核结果。

7.根据权利要求6所述的水污染源监测数据的审核系统，其特征在于，所述数据分类模块包括以下子模块：

数据筛选子模块，用于采用SQL语句分别筛选原始数据中各个监测站点数据；

列表生成子模块，用于对于任意一个监测站点的数据：将该监测站点的数据以污染物浓度为属性，按时间顺序重新排列数据表。