[发明专利]一种基于自组织互联模块化神经网络的出水BOD预测方法

权利要求书

1.一种基于自组织互联模块化神经网络的出水BOD预测方法，其特征在于包括以下步骤：

步骤1：水质变量子集划分；

采集污水处理厂实际水质变量数据，记O为出水BOD浓度,o_n为出水BOD浓度的第n个样本值，其中n＝1,2,…,N；M_f为第f个输入水质变量，其中f＝1,2,…,F；F为水质变量个数，N为水质变量的样本个数，m_fn为第f个水质变量的第n个样本值；

步骤1.1：设定软聚类算法指标如下：

其中，u_kf为第f个变量属于第k个聚类的隶属度，α＝1.5为模糊系数，w_kn为第n个样本在第k类中的权重，v_kn为第n个样本在第k个聚类中的中心，γ＝0.5为强化参数；

步骤1.2：设定i＝1,软聚类算法最大迭代次数Maxc＝20,设定聚类总个数K＝2,随机在-1至1区间内初始化聚类中心v_kn和权重w_kn＝1/N,其中N为水质变量的样本个数，k＝1,2,…,K；n＝1,2,…,N；

步骤1.3：按照下式计算第f个水质变量对第k个聚类的隶属度u_kf：

步骤1.4：利用步骤1.3的u_kf计算第k个聚类中第n个样本的聚类中心v_kn如下：

步骤1.5：利用步骤1.3的第f个水质变量对第k个聚类的隶属度u_kf和步骤1.4的第k个聚类中第n个样本的聚类中心v_kn计算第k个聚类中第n个样本的权重w_kn如下：

其中e(·)为以e为底的指数函数；

步骤1.6：根据步骤1.3，1.4和1.5的结果计算式(1)的值,记为J(i),当i＝1时,i＝i+1返回步骤1.3，当i1时，转为步骤1.7；

步骤1.7：当|J(i)-J(i-1)|0.001或iMaxc时软聚类算法结束，其中J为公式(1)定义的软聚类算法指标，执行步骤1.8，否则i＝i+1返回步骤1.3；

步骤1.8：利用迭代生成的隶属度u_kf对水质变量进行子集划分，设定划分阈值δ＝0.3,对第k个聚类，若第f个水质变量的隶属度u_kfδ，则将该水质变量划入该聚类当中，直到所有水质变量划分完毕；

经步骤1，得到K个包含不同水质变量的子集合Z_k，其中k＝1,2,…,K；

步骤2：设计预测出水BOD的互联模块化神经网络模型结构；

步骤2.1：将由步骤1获取的K个子集合Z_k中的水质变量按照公式(5)归一化至区间-1到1内，其中k＝1,2,…,K；输出变量出水BOD按照公式(6)归一化至区间0到1内：

其中，m_j表示集合Z_k内的第j个水质变量，O表示输出变量，x_j和d分别表示归一化后的第j个水质变量和输出变量；然后将每个子集合内的样本分为训练集，验证集，测试集三个部分；

步骤2.2：设计互联模块化神经网络的子网络结构，模型共由K个子网络构成，每个子网络采用具有双隐层的多层感知器，包含输入层，第一隐层，第二隐层及输出层四层结构；每个子网络的初始拓扑结构为z_k-H₁-H₂-1；k＝1,2,…,K；其中z_k为第k个子网络的输入神经元数量，与集合Z_k内的水质变量数量相同，H₁和H₂分别为第一隐层和第二隐层的神经元数量，输出层神经元数量为1；同时，每个子网络的第二隐层节点与其它子网络的输出节点相连；

设定稀疏率Spa＝0.3,对每个子网络所有相邻层之间的权值进行稀疏处理，初始时，输入层到第一隐层的权值数量为z_k×H₁，第一到第二隐层的权值数量为H₁×H₂；第二隐层到输出层的权值数量为H₂×K，随后分别对每个相邻层内的权值按照从小到大的顺序排序，记排序后的第r个权值作为删减阈值λ＝S_r，其中r＝层内权值数量×(1-Spa),删除本层内小于λ的权值，被删除的权值视为休眠权值；记稀疏后第k个子网络第一隐层和第二隐层被删除的节点数量分别为H₁^dk和结构为其中和分别为第k个子网络第一隐层和第二隐层的剩余神经元数量，并且满足及

步骤2.3：假设对第k个子集合Z_k,k＝1,2,…,K,第n个输入样本为此时，第k个子网络的第一隐层第h₁个神经元的输出为：

其中，为第k个子网络中输入层的第j个节点和第一隐层的第h₁个神经元的连接权重，B()子网络第h₁个隐含层神经元的激活函数，定义如公式(8)所示：

步骤2.4：计算第k个子网络第二隐层第h₂个神经元的输出：

其中，为第k个子网络中第一隐层的第h₁个节点和第二隐层的第h₂个神经元的连接权重；

步骤2.5：计算第k个子网络的输出：

其中，为第k个子网络中第二隐层的第h₂个节点和第k个子网络输出节点的连接权重；

步骤2.6：计算互联模块化神经网络的输出：

其中为第k个子网络第n个样本的输出，K为子网络数量；

步骤2.7：选取均方误差函数作为互联模块化神经网络的目标函数：

其中d_n为输出变量的第n样本的期望输出；

步骤3：互联模块化神经网络结构自组织设计

步骤3.1：设定结构自组织次数l_max＝8,令l＝1；

步骤3.2：计算当前第n个样本的输出误差：

e_n＝d_n-Y_nn＝1,2,…,N (13)

步骤3.3：在当前神经网络结构下，令向量Δ包含所有子网络当中的权值：

Δ＝[Δ₁,Δ₂,...,Δ_K] (14)

其中，Δ_k为第k个子网络内的参数，包括各层之间的连接权值和

参数更新公式如下：

Δ(t+1)＝Δ(t)-(Q(t)+μ(t)I)^-1g(t) (16)

其中，t表示迭代步数，Q为类海森矩阵，g为梯度向量，I为单位矩阵，μ为学习率；类海森矩阵及梯度向量分别根据公式(17)和(18)计算得到：

其中，e_n为第n个样本的神经网络输出误差，根据式(13)计算，j_n为对应样本的雅可比矩阵行向量，定义如下：

j_n＝[j_n,1,j_n,2,...,j_n,K] (19)

其中，j_n,k为第k个子网络的雅各比行向量，定义如下：

根据公式(7)-(11)(13)，求得：

通过公式(21)-(23)，可得到雅可比矩阵的行向量j_n,k，当将所有训练样本遍历一遍后，则可得到类海森矩阵Q和梯度向量g，进而根据更新公式(16)对向量Δ内包含的所有子网络当中的连接权值进行更新；

在训练过程中，由公式(12)计算得到t时刻与t+1时刻神经网络的训练目标函数值E_tr(t)与E_tr(t+1)，当E_tr(t+1)≤E_tr(t)时，学习率μ(t+1)＝μ(t)/10，网络内的所有权值参数保留；反之，学习率μ(t+1)＝μ(t)×10，网络内的所有权值参数恢复至其更新前，基于当前μ对神经网络参数进行更新,同时在训练时记录每个时刻神经网络在验证集上的目标函数值E_va；设最大迭代步数为T_max＝40，期望误差值为E_d＝0.08；参数学习过程经过不断迭代，当迭代步数t＝T_max时，若训练误差E_trE_d，跳至步骤3.4；若当前训练误差E_tr≤E_d但|E_tr-E_va|＞0.01，|·|为取绝对值，，则跳至步骤3.5；如果当前训练误差E_tr≤E_d且|E_tr-E_va|≤0.01，则训练停止；

步骤3.4：根据下式计算相邻层之间所有休眠权值的梯度：

其中,和此时分别代表各层神经元之间的休眠连接权值；

计算跨层神经元间的梯度，跨一层神经元的梯度为：

跨二层神经元的梯度为：

其中代表输入层第j个输入神经元和第二隐层第h₂个神经元之间的连接权值，代表第一隐层第h₁个输入神经元和输出层第k个神经元的连接权值；

若ll_max跳至步骤4；若ll_max，通过步骤3.4的计算找出所有子网络中相邻层之间休眠权值的梯度和跨层神经元间的梯度的最大值，若最大值出现在和当中，则将梯度最大值对应的休眠权值重新激活，并在0到1区间内赋随机值，l＝l+1,返回步骤3.2；若梯度最大值出现在中，且第一隐层神经元数量小于时，在第k个子网络的第一隐层内添加1个神经元，输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第一隐层神经元数量等于时，跳至步骤4；若梯度最大值出现在中，且第二隐层神经元数量小于时，在第k个子网络的第二隐层内添加1个神经元,输入权值和输出权值分别设置为0到1之间的随机数，l＝l+1,返回步骤3.2，否则如果第二隐层神经元数量等于时，跳至步骤4；

步骤3.5：设定权值删减阈值Thw＝0.1,依次判断每个子网络的各层之间的连接权值和是否存在小于Thw的值,若存在，则删除，l＝l+1,返回步骤3.2，否则结束；

步骤4：将测试样本数据作为训练后的自组织互联模块化神经网络的输入，得到自组织互联模块化神经网络的输出，将其进行反归一化得到出水BOD浓度的预测值。