[发明专利]融合最小二乘向量机回归学习思想的改进极限学习机

说明书

技术领域

本发明涉及一种改进极限学习机，尤其是一种融合最小二乘向量机回归学习思想的改进极限学习机，属于人工智能的技术领域。

背景技术

支持向量机（Support Vector Machine，SVM）理论是Vapnik等人提出的一种基于统计学理论的学习方法（实际上也是一种单隐层前馈网络），该方法根据结构风险最小化原则，尽量提高学习机的泛化能力，最终归结为求解一个具有线性不等式约束的二次规划（Quadratic Programming）问题，但当训练样本数量增大时，二次规划问题将面临维数灾难，具体参考文献“Cortes C,Vapnik V.Support vector networks.Machine Learning,1995,20(3):273-297”。因此，Suykens等人提出了最小二乘支持向量机（Least Squares Support Vector Machine,LS-SVM）将支持向量机中的线性不等式约束转化为线性等式约束，从而把QP问题转化成求解线性方程组的问题，降低了支持向量机的学习难度，提高了求解效率，具体如文献“Suykens J A K，Vandewalle J．Least squares support vector machine classifiers.Neural Processing Letters,1999,9(3):293-300”中所述。

极限学习机（Extreme Learning Machine,ELM）是Huang提出的一种新型的单隐层前馈神经网络学习方法，见文献“Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:theory and applications.Neurocomputing,2006,70(1-3):489-501”。极限学习机的基本思想为：训练前设置合适的隐层节点数，在执行过程中只需要为输入权值和隐层偏置随机赋值，整个过程一次完成，无需迭代，并且产生唯一的最优解；因此具有参数选择容易、学习速度快的优点。但是传统ELM是基于经验风险最小化原理，应用于预测时极易导致过度拟合问题。近年来，相关研究对其进行了改进，如文献“Liang N Y，Huang G B,P.Saratchandran,et al.A fast and accurate online sequential learning algorithm for feedforward networks [J].IEEE Transactions on Neural Networks,2006,17(6):1411-1423.”中提出一种基于在线批量学习的极限学习机（OS-ELM），该算法能够逐个或逐批的进行学习，有效地提高了算法的泛化能力，但是却过分地依赖实验数据。在文献“Lan Y，Soh Y C,Huang G B.Ensemble of online sequential extreme learning machine.Neurocompting,2009,72:3391-3395.”中提出了一种在线批量学习的极限学习机的集成算法（EOS-ELM），算法中采用多个OS-ELM模型来进行问题的处理。在文献“Rong H j,Huang G b,N.sundararajan,et al.Online sequential fuzzy extreme learning machine for function approximation classification problems.IEEE transactions on systems,man,and cybernetics-part b:cybernetics,2009,39(4):1067-1072.”中将TS模糊系统与OS-ELM算法相结合，提出一种OS-Fuzzy-ELM算法。在文献“Feng G，Huang G B,Lin Q P，Gay R.Error minimized extreme learning machine with growth of hidden nodes and incrementallearning.IEEE Transactions on Neural Networks,2009,20(8):1352-1357.”中基于最小误差化提出了一种改进的ELM算法来提高算法的性能。但是上述算法仍都基于经验风险最小化原理，极易导致过度拟合问题。在文献“Huang G B,Ding X J,Zhou H M.Optimization method based extreme learning machine for classification.Neurocompting,2010,74(1-3):155-163”、“Liu Q,He Q,Shi Z.Extreme support vector machine classifier.Lecture Notes in Computer Science,2008,5012:222-233”中也对其进行了改进，但改进后的算法仅仅适用于分类问题。