[发明专利]一种先验辅助的半监督随机贝叶斯神经网络方法

权利要求书

1.一种先验辅助的半监督随机贝叶斯神经网络方法，其特征在于，包括以下步骤：

S1，首先初始化N层深度神经网络模型，利用历史数据得到参数θ₁,θ₂,…,θ_N；当前新输入为X，则最后一层隐含层的输出为H_Ns＝f(X,θ₁,...,θ_N)，通过多层非线性运算提取了原始数据的高水平特征，将H_Ns记为特征层；

S2，以H_Ns作为扩展层的输入，使得特征层、扩展层和输出层以随机向量函数链结构连接，并初始化扩展层为E_s＝[E₁,...,E_K]；特征层到扩展层的参数为W_he,β_he，在[-1,1]中随机初始化W_he,β_he；计算扩展层为E_s＝φ(H_NsW_he+β_he)，并将特征层和扩展层连接为A_s＝[H_Ns|E_s]；

S3，将流形正则化引入RVFLNN输出权重的优化中：

其中且J＝diag(1,...,1,0,...,0)；r是无标签数据的系数；L是拉普拉斯矩阵：

L＝D-U,

其中U＝[u_ij]，且u_ij是x_i和x_j的相似度：

令可得

令半监督的先验均值μ_s为从新样本中随机选取多组样本，得到半监督输出权重的集合；计算半监督输出权重的方差，即为半监督的先验方差

S4，基于半监督的参数先验P(w_s)，求出参数后验w^s～N(μ^s,σ^s)；为了得到μ^s和σ^s的梯度，利用重参数化的方法将μ^s和σ^s变得可微：

σ^s＝log(1+exp(ρ^s)),

w^s＝μ^s+σ^sò,

其中ò～(0，I)；令θ^s＝(μ^s,ρ^s)，半监督先验条件下RBNN的损失函数为：

f(w^s,θ^s)＝logq(w^s|θ^s)-logP(w_s)P(D|w^s).

通过这种方式，μ^s和σ^s是可微的，计算关于μ^s和ρ^s的梯度为：

变分参数更新为：