[发明专利]一种基于贝叶斯估计的小波神经网络权值初始化方法

摘要

本发明涉及小波神经网络优化技术领域，特别涉及一种采用状态估计研究思想，基于贝叶斯估计的小波神经网络权值初始化方法。本发明包括：建立小波神经网络模型；权值单位化；输入与小波神经元权值优化；输出层神经元权值优化。本发明将小波神经网络权值参数与网络结构、小波类型、输入数据和输出目标值联系起来，同时将状态估计的思想和理论引入到权值参数的初始设置中，强化了小波网络学习训练能力，使小波网络在初始化阶段就具有一定的针对性，从而提高了权值在后续网络学习训练的适应能力。与传统权值初始化方法相比，能够有效地提高学习效率，减小网络输出振荡幅度，加快算法收敛速度，同时能够避免出现不合适权值导致的网络输出发散的情况。

主权项

1.一种基于贝叶斯估计的小波神经网络权值初始化方法，其特征在于：（1）建立小波神经网络模型设置小波神经网络的网络层数和各层神经元的个数，并将各层权值分别设置为[-1,1]区间上均匀分布的随机数；（2）权值单位化小波网络的所有权值按层进行单位化，设W_MN为由w_mn(m＝1...M;n＝1...N)组成的第M层至第N层间的权值矩阵，则单位化后的权值矩阵W_MN为：WMN=WMNΣm=1MΣn=1Nwmn2;]]>（3）输入与小波神经元权值优化以小波函数为激励函数的神经元为中心，将前后两个网络层中的权值与小波函数类型和神经元个数进行关联，设L、M、N为三个网络层，其神经元个数分别为L、M、N，其中M层的激励函数为小波函数，L、N分别是它的前后两层，W_LM、W_MN为单位化后三层间的权值矩阵，则将小波函数类型和神经元个数与其关联后为：WLM=KM·WLMLM]]>WMN=KM·WMNMN]]>其中K_M为与小波函数有关的常值，A的取值范围为1.6～2.1，若L为输入层，则还需与输入值U(l)(l＝1...L)进行关联：WLM=U(l)Σl=1LU(l)·WLM]]>（4）输出层神经元权值优化输出层神经元权值以单个输出层神经元为单位进行优化，设输出层R的神经个数为R，与输出层相连的网络层Q的个数为Q，优化时将分别计算每个输出层神经元r与Q个上一层神经元间的权值，其组成的权值向量为W_rQ，即整个输出层权值矩阵的维度是Q×R，权值优化过程以单个输出值为计算单位，因此优化过程将进行R次循环，每次计算出Q维的权值向量：a.计算输出层神经元权值的先验概率密度设W_t为输出层神经元r的权值向量，其先验概率密度采用有限元方法求得，它首先对当前权值进行区域剖分，在单元区域内进行双线性插值构造母单元的形函数N_i，其表达式为：PWt=Σi=12n-1(n+2)Ni·pit+1]]>在初始阶段只有母单元的角结点，令为相应角结点的形函数，w是神经网络输出层权值的初值，则这些形函数可表示为：Ni~=12QΠu=1Q(1+wu),i=1,2,...,2Q]]>在母单元的基础上添加边结点后的形函数可表示为Ni=Ni~-12Σu=1QNui≤2Q12Q-1(1-wu2)Πv=1,v≠uQ(1+wv)i>2Q]]>式中i≤2^Q表示角结点的形函数，i＞2^Q表示添加的边结点的形函数，N_u的下角标u代表与第i个角结点相邻的边界点个数，最后通过四阶Runge-Kutta法求解pt+1(Wt)=pt((Wt))+Δtk6(K1+2K2+2K3+K4)]]>K1=L(p)K2=L(p)+Δt2·K1K3=L(p)+Δt2·K2K4=L(p)+Δt2·K3]]>其中L(p)为由描述先验概率密度的Fokker-Planck方程：L(p)=12Σr,s=1Q∂2(H(Wt,t)A(t)HT(Wt,t))∂Wt,r∂Wt,s-Σr=1Q∂(F(Wt,t)p)∂Wt,r]]>上式中F(W_t,t)为权值训练函数，H(W_t,t)为惯性项，令α为惯性项系数，则F(W_t,t)dt和H(W_t,t)的求解公式为：F(Wt,t)=-η▿E(Wt(t))]]>H(W_t,t)＝α(W_t-W_t-1)其中η为学习速率，为E(W_t)在W_t的梯度函数；b.计算输出层神经元权值的似然概率密度网络输出层权值的似然概率密度为：其中D_t是当前输入输出数据组成的样本空间D_t＝(d₁,d₂,...,d_m)，cov(D_t)为t时刻网络样本的协方差矩阵：c.计算输出层神经元权值的后验概率密度及优化权值根据Bayesian公式可知：P(Wt,t+1|Dt+1)=P(Wt)·P(Dt+1|Wt)∫DP(Dt+1|Wt)·P(Wt)dWt]]>根据上式得出的后验概率密度P(W_t,t+1|D_t+1)，可通过均值公式求得输出层的优化权值：Wt=E(Wt|Dt+1)=∫DP(Wt,t+1|Dt+1)dWt;]]>d.设定优化循环次数Num，以当前的W_t为权值初始值，求出输出值与目标值的误差，继续循环学习至Num次为止，并从中选出使误差最小的一组权值向量；e.重复步骤a～d计算其余输出层神经元的权值向量，直至完成输出层权值矩阵。