[发明专利]一种先验辅助的半监督随机贝叶斯神经网络方法

说明书

本发明公开了一种先验辅助的半监督随机贝叶斯神经网络方法，包括以下步骤：S1，首先初始化N层深度神经网络模型，利用历史数据得到参数θ₁,θ₂,…,θ_N；当前新输入为X，则最后一层隐含层的输出为H_Ns＝f(X,θ₁,...,θ_N)，通过多层非线性运算提取了原始数据的高水平特征，将H_Ns记为特征层。本发明在RVFLNN的目标函数中引入流形正则化，进一步发展了该方法的半监督形式，在获取先验的同时利用了无标签和有标签数据，提升了预测模型的泛化能力；该方法针对不同场景可灵活调整模型的输入输出和超参数，适用于多种场景，通用性强。

技术领域

本发明涉及机器学习领域，特别涉及一种先验辅助的半监督随机贝叶斯神经网络方法。

背景技术

在机器学习领域，不确定性是一个普遍的问题。例如，数据中的固有噪声带有不确定性，而这种不确定性往往无法避免，被称为偶然不确定性。此外，如果数据样本过少，预测模型无法学习到足够的知识，这种不确定性被称为认知不确定性。传统的神经网络模型基于误差反向传播算法对参数值进行优化，训练好的模型参数为固定的值，而数据不确定性会导致这类模型过拟合、鲁棒性差。

贝叶斯神经网络可以有效地处理数据不确定性，每个参数通过贝叶斯反向传播算法得到一个后验分布，而不是一个固定的值，以此将不确定性引入到神经网络预测中。贝叶斯神经网络的损失函数由两项组成，一项依赖于参数先验，另一项依赖于训练数据。因此，在训练数据确定的前提下，不确定性估计的质量完全取决于先验的质量，如果先验给定的不合适，会出现如下的极端情况。如果先验比现实更陡峭，后验某些区域的概率过低，会导致不确定性的低估。如果先验比现实更平滑，后验某些区域的概率过高，会导致不确定性的高估。并且，如果先验均值和真实均值的差异过大，会增加寻找后验的时间代价，不能满足在线应用的实时性要求。

近年来，如何确定贝叶斯神经网络的参数先验成为一个具有挑战性的问题。研究者们提出了多种启发式的方法，例如令先验为两个均值为0、方差不同的高斯分布的组合；提出噪声对比先验的概念，通过在输入先验中加入噪声来获得可靠的不确定性估计。上述先验的确定方法是启发式的，需要调节多个超参数，难以找到合理的先验范围。除此之外，研究者们还提出了辅助性方法来确定贝叶斯神经网络的先验。例如，提出了从深度神经网络中提取贝叶斯神经网络模型先验的方法，通过预训练深度神经网络得到参数，再将这一参数作为相同结构的贝叶斯神经网络参数的先验。但由于误差反向传播的迭代训练过程，这一方法比较耗时。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种先验辅助的半监督随机贝叶斯神经网络方法。

本发明提供了如下的技术方案：

本发明提供一种先验辅助的半监督随机贝叶斯神经网络方法，包括以下步骤：

S1，首先初始化N层深度神经网络模型，利用历史数据得到参数θ₁, θ₂,…,θ_N；当前新输入为X，则最后一层隐含层的输出为H_Ns＝f(X,θ₁,...,θ_N)，通过多层非线性运算提取了原始数据的高水平特征，将H_Ns记为特征层；