[发明专利]基于弹性SCAD罚函数的回声状态网络时间序列预测方法

摘要

本发明涉及一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法，结合 SCAD 罚函数和范数建立稀疏模型，该模型具有无偏估计、良好处理共线性和过拟合问题能力，从而提高模型的预测精度；针对该方法中的非凸函数优化问题，也给出基于局部二次近似的求解方法以及基于粒子群算法的超参数估计方法。

主权项

一种基于弹性SCAD罚函数的回声状态网络时间序列预测方法，其特征在于，包括以下步骤：步骤一：对原始数据进行预处理，包括去除异常数据及消除数据的趋势性；步骤二：建立回声状态网络模型将时间序列训练数据送入回声状态网络中，储蓄池回声状态向量x(t)和输出向量y(t)模型如下:（1）（2）式中win、wx和wback分别为输入矩阵、储备池连接矩阵和后向反馈矩阵，它们是已知的；wout为储备池输出连接矩阵，是回声状态网络中唯一需要训练求解的；t时刻的储备池内部状态向量x(t)由当前输入uin(t)、上一时刻状态向量x(t‑1)以及后向反馈向量y(t)共同激发产生；输出连接矩阵使用最小二乘法求解得到:（3）其中是的伪拟；步骤三：弹性SCAD罚函数为了应对回声状态网络输出矩阵多重共线性和过拟合问题，采用弹性SCAD罚函数估计权值，其具体模型如下:（4）式中第二项和第三项分别是SCAD罚函数和L2范数罚函数，其组成弹性SCAD罚函数，其中SCAD罚函数模型如下：（5）其中可调超参数，参数向量表示为w，对wj的一阶导数表示为:（6）式（5）中SCAD罚函数在原点近似奇异值，能够产生稀疏解；对于置为常数，从而满足对的近似无偏估计；式（6）中SCAD罚函数导数在上连续可导，但在原点处不可导；步骤四：基于弹性SCAD罚函数的局部二次近似求解SCAD罚函数在原点处不可微，不能直接用凸函数优化方法进行迭代；使用局部二次近似来近似分解SCAD罚函数，从而能求解该模型的近似解；设初始值已知，对 SCAD部分的局部二次近似模型如下:（7）式中是的临近点，采用式（3）普通最小二乘得到，的一阶导数表示为:（8）得到SCAD罚函数的近似表达后，对式（4）执行重复岭回归解得到:（9）其中：（10）实际中，采用最小二乘估计，只要一步迭代就能找到值；步骤五：粒子群优化回声状态网络基于弹性SCAD的回声状态网络包含较多的超参数，网格搜索法难以确定最优的超参数值，采用粒子群算法进行超参数优化；假设粒子用速度矢量v和位置矢量p进行描述，在时间步中，粒子通过更新速度矢量vi来搜寻全局最优位置矢量pi，同时每个粒子根据适应度和速度决定它自身的飞行方向，逐步移到较优区域，最终搜索到全局最优位置矢量，模型如下：（11）（12）式中vi(t)和pi(t)分别为第i个粒子t时刻的速度分量和位置矢量；lbi(t)为第i粒子t时刻的最优位置分量；gb(t)为t时刻整个粒子群的最优位置分量；w为惯性权重，c1和c2为加速常数；；rand1 和rand2是介于0和1之间的随机数；步骤六：下一时刻时间序列预测通过下式获取所述预测数据：（13）其中，为第时刻输入值，为第时刻预测数据，为估计的输出权值矩阵。