[发明专利]一种正交增量的随机配置网络建模方法

说明书

本发明公开了一种正交增量的随机配置网络建模方法，包括：初始化正交随机配置网络学习所需要的参数，构造正交形式的监督机制选取候选节点；从上述新增候选节点中选出最佳隐层节点，找到其对应的最佳隐层参数，代入节点输出向量构造地评估输出权值。本发明避免了原始随机配置网络的冗余节点，提高了网络紧致性。同时，在正交随机配置网络的框架下，不需要复杂的再训练过程，仅以构造法的形式就可以得到当前节点的全局最优解。

技术领域

本发明涉及神经网络模型技术领域，特别涉及一种正交增量的随机配置网络建模方法。

背景技术

目前，支持向量机、人工神经网络等机器学习算法已成功应用于流程工业、金融、机器人等领域，特别是具有近似非线性映射的人工神经网络。从结构上看，神经网络一般可细分为递归神经网络、对称连接网络和前馈神经网络。前馈神经网络结构简单、收敛速度快的优点，使其的应用与研究都更为广泛。

传统的前馈神经网络训练算法通常采用梯度下降法，然而这种方法费时、对初始参数敏感且容易险入局部极小值。为了解决这些问题，人们把目光投向随机算法，它通过随机分配网络参数子集，将模型求解转化为一个更简单的优化问题，使实现更加容易，人为干预更少，由此衍生出多种随机权值网络。

随机配置网络作为近年来出现的一种先进的单隐层随机权值网络，大量的回归和分类试验都证实它在紧凑性、快速学习和泛化性能等方面具有明显的优势。具体地，它可以自适应选择隐层节点参数范围，然后通过监督机制随机分配隐层节点参数，生成新的隐层节点。然而由于其随机性，即使采用监督机制，原始随机配置网络也不可避免地会产生近似的线性相关节点。这些输出小的节点具有冗余性、质量差，对减少残差贡献不大，降低了网络的紧致性，从而影响整体的泛化性能。

发明内容

针对随机配置网络现有的结构缺陷，本发明提供了一种解决了现有的结构冗余性问题的正交增量的随机配置网络建模方法。

为实现上述技术目的，本发明提出的一种正交增量的随机配置网络建模方法，包括以下步骤：

步骤一，初始化正交随机配置网络学习所需要的参数，构造正交形式的监督机制，将满足约束的隐层节点选为新增候选节点。

步骤二，从上述新增候选节点中找出最佳隐层参数，此时最佳节点输出转化为其对应的最佳正交向量，并构造地评估输出权值。

作为改进，本发明的步骤一还包括以下步骤：

给定N个样本，其中样本输入X＝{x₁,x₂,…,x_i,…,x_N},d为样本输入维度；样本输出为T＝{t₁,t₂,…,t_i,…,t_N},m为样本输出维度；

初始化正交随机配置网络学习所需要的参数，包括最大隐层节点数L_max、最大配置次数T_max、期望容差ε、隐层参数随机配置范围Υ:＝{λ_min:Δλ:λ_max}(λ为范围参数)、一个极小的正数σ、初始残差e₀＝T、激活函数g(x)、当前网络隐层节点数L＝1,2,3,…,L_max；

当网络在添加第L个节点时，给定一个非负序列r_L,0＝L/(L+1)，令序列μ_L,0＝(1-r_L,0)/(L+1)；

在可调范围[-λ_min,λ_min]内随机生成T_max对隐层参数，即输入权值w_L和偏置b_L；

构造隐层节点的正交监督机制：