[发明专利]一种基于动态插值的城市污水处理过程数据清洗方法

权利要求书

1.一种基于动态插值的城市污水处理过程数据清洗方法，其特征在于，包括以下步骤：

(1)数据选择：

采用主成分分析法筛选得到关键特征变量：缺氧池前端氧化还原电位，进水端悬浮物，缺氧池末端硝态氮，进水端酸碱度；

(2)识别异常值：

①初始化滑动窗口长度l，滑动窗口移动步长m，异常识别数据集第k距离为30，迭代次数n＝1；

②滑动窗口内好氧池前端溶解氧数集为L，距数据集L第k距离的数据集为O，数据集O需要满足：至少存在k个数据集O’，O’∈D，使d(L,O’)≤d(L,O)成立，至多存在k-1个数据集O’，O’∈D，使d(L,O’)d(L,O)成立，

其中，数据段O’是滑窗将好氧池前端溶解氧数据分割后的数据段，D是分割后数据段的集合，d(L,O)是数据集L和数据集O的距离，q是好氧池前端溶解氧数集异常属性个数，异常属性包括均值、最大值、最小值、峰值区间和均方差，q＝5，f(L_p)和f(O_p)是数据集L和数据集O的第p维属性值，p＝1,2,3,…q，计算L的异常因子系数：

r-dis(L,O)＝max{k-dis(O),d(L,O)} (2)

其中，r-dis(L,O)表示数据集L与数据集O的可达距离，k-dis(O)是数据集L和数据集O的第k距离，Idr_k(L)是数据集L的局部可达密度，N_k(L)是输入好氧池前端溶解氧数据点与数据集L的距离小于数据集L第k距离数据点的集合，∑_o∈Nk(L)Idr_k(O)是集合N_k(L)中局部可达密度总和，LOF_k(L)是数据集L的异常因子系数，计算数据集L的异常阈值V：

V＝μ+λσ (5)

其中，μ是数据集L中异常因子的均值，σ是数据集L的标准差，λ＝1，若LOF_k(L)V或数据集L中含连续r个重复数据，则标记数据集L为异常数据集，跳转步骤③，否则则标记数据集L为正常数据集，跳转步骤④；

③若nl，则比较数据集L中第n个数据L(n)与V的大小，大于V的L(n)置0，复数据置0，重迭代次数n加1返回步骤③，否则跳转步骤④；

④滑动窗口移动步长m，若窗口内数据含空值，则输出异常识别后的数据，否则迭代次数n＝1，返回步骤②；

(3)建立随机森林回归模型：

①初始化回归树数目为100，当前迭代次数t＝1；

②从训练样本中有放回随机抽样一个g×f的节点矩阵D_t，f为训练样本中输入变量个数，g为训练样本单一变量包含数据样本的个数，计算最大树高h_max:

h_max＝log₂(gf) (6)

③从D_t中无放回抽样一个e×w的切割矩阵X_cut，e、w均为随机数，0e＜＜g，0wf,计算矩阵X_cut中的切割点系数，选择最小值作为当前切割点：

其中，i＝1,2,3,...,e,j＝1,2,3,...,w,e为X_cut中变量的个数，w为单一变量包含数据样本的个数，C(i,j)是以X_cut(i,j)为切割点分枝后的最优系数，R_left(i,j)是切割后左子树矩阵，R_right(i,j)是切割后右子树矩阵，Q₁是R_left(i,j)的样本个数，Q₂是R_right(i,j)的样本个数，

④以最优C(i,j)为切割点划分，记录R_left(i,j)所在节点路径长度h_l，若h_l≥h_max或Q₁Q，则停止当前节点的分枝生长，跳转步骤⑤，否则用R_left(i,j)更新D_t，跳转步骤③，

⑤记录未分支的R_right(i,j)所在节点径长度h_r，若h_r≥h_max或Q₂Q，则停止当前节点的分枝生长，跳转步骤⑥，否则用R_right(i,j)更新D_t，返回步骤③；

⑥若t100，则迭代次数t加1，返回步骤②，否则停止训练，完成随机森林回归插值模型的建立，模型输出为:

其中，是第v棵回归树划分后叶子节点内集合的平均值，v＝1,2,3,...,100；

(4)插值处理：选择标记异常的数据集，以缺氧池前端氧化还原电位，进水端悬浮物，缺氧池末端硝态氮，进水端酸碱度为随机森林回归模型输入，好氧池前端溶解氧为随机森林回归模型模型输出进行预测，用预测值代替异常数据集中数值为0的点，更新异常数据集，输出清洗后的数据。