[发明专利]融合最小二乘向量机回归学习思想的改进极限学习机

权利要求书

1.一种融合最小二乘向量机回归学习思想的改进极限学习机，其特征是，所述改进极限学习机包括如下步骤：

步骤1、给定观测数据集T，T＝{(x₁,y₁),…,(x_j,y_j),…,(x_N,y_N)}，其中，x_j∈Rⁿ,y_j∈R,j＝1,…,N；将包括N个隐层节点，激励函数为G的极限学习机回归模型设定为

f(x)=Σi=1NβiG(ai,bi,xi)=β·h(x);]]>

其中，β_i为第i个隐层节点与输出神经元的输出权值，β为输出权值矩阵，a_i为输入神经元与第i个隐层节点的输入权值，b_i为第i个隐层节点的偏置，h(x)为隐层输出矩阵，h(x)＝[G(a₁,b₁,x₁),…,G(a_N,b_N,x_N)]；

步骤2、随机初始化输入权值a_i和偏置b_i，i＝1,...,N，并使得输入权值a_i和偏置b_i在训练过程中保持不变；

步骤3、根据经验风险最小化的ELM和结合最小二乘向量机回归学习思想的结构风险最小化方法，得到

min12||β||2+12ζΣi=1Nδi2]]>

yi-f(xi)=δiδi≥0,i=1,···,N]]>

其中，δ_i为误差，误差的平方和δ_i²代表经验风险；||β||²代表结构风险，ζ为调节系数；

步骤4、将步骤3得到的条件极值函数转换为拉格朗日函数，得到

LELM=12||β||2+12ζΣi=1Nδi2-Σi=1Nλi[yi-f(xi)-δi]]]>

其中，L_ELM为拉格朗日函数；λ_i为拉格朗日乘子；

步骤5、将步骤4得到拉格朗日函数利用KKT最优函数得到

∂LELM∂β=0⇒β=Σi=1Nλih(xi)∂LELM∂δi=0⇒λi=ζ·δi∂LELM∂λi=0⇒yi-f(xi)-δi=0;]]>

并根据上述优化约束条件计算得到拉格朗日乘子λ_i和输出权值矩阵β；

步骤6、根据步骤5得到的输出权值矩阵β，得到极限学习机回归模型f(x)。

2.根据权利要求1所述的融合最小二乘向量机回归学习思想的改进极限学习机，其特征是：所述激励函数G为sigmoid函数，G(a,b,x)＝1/(1+exp(-(a·x)+b))。