[发明专利]快速递归Elman神经网络建模学习算法

摘要

本发明属于神经网络领域，具体为快速递归Elman神经网络建模学习算法，包括以下过程：步骤1模型选择、步骤2参数初始化、步骤3计算训练样本的误差函数E_k，若误差函数值小于误差阈值，则转步骤4；否则，计算误差函数关于权值W_k和V_k的梯度：步骤4、测试精度。本发明提供的快速递归Elman神经网络建模学习算法，在优化输入权值矩阵时将隐层到输出层的权值选取通过用广义逆的方法一步得出，无需迭代，使得在更新权值过程中，从原始的用梯度法计算两层的权值变为一层，使训练速度得到大大提升，同时避免了BP算法容易陷入局部极小值、泛化能力差等缺点。

主权项

快速递归Elman神经网络建模学习算法，其特征在于：包括以下步骤：步骤1、模型选择快速递归Elman神经网络有n个输入节点、个隐层节点和m个输出节点；输入和递归权值矩阵分别为和合并权值矩阵为表示隐层节点和输出节点连接的权值向量；对于训练样本集N＝{(x_i,t_i)|i＝1,…,N}输入给网络，用表示第k次循环的隐层输出矩阵，定义H₀＝0；假定g(x)为隐层节点的激活函数，采用sigmoid函数，即：步骤2、参数初始化(1).设初始迭代次数k＝0；(2).定义H₀＝0；(3).随机赋值从输入层到隐层和承接层的初始权值矩阵W、V，选取(‑1,1)之间的随机数；步骤3、优化初始权值(1).计算隐层输出矩阵H_k＝g(V_kH_k‑1+W_kX)；(2).网络的实际输出为误差函数为E_k＝Tr[(Y_k‑T)(Y_k‑T)^T]，其中T为理想输出；则求解从隐层到输出层的网络权值U_k的问题转化为最小化误差函数的问题，即寻找最小二乘解U_k使得E_k最小；利用Moore‑penrose广义逆可以得到：U_k＝(H_kH_k^T)^‑1H_kT^T，带入H_k和T得到了隐层到输出层的权值矩阵U_k；(3).计算训练样本的误差函数E_k，若误差函数值小于误差阈值，则转步骤4；否则，计算误差函数关于权值W_k和V_k的梯度：其中是H的广义逆；(4).权值更新公式为：其中，学习率η_k通过线搜索的方式获得；(5).令k＝k+1，返回步骤(2)；步骤4、测试精度根据优化后的隐层到输入层的权值W_k和承接层权值矩阵V_k，以及根据步骤3中的步骤(2)得到的隐层到输出层的权值U_k，得到本算法的网络参数，计算测试样本的精度。