[发明专利]一种快速的神经网络学习方法

说明书

一、技术领域

本发明属于人工智能领域，涉及风险最小化与加权最小二乘理论，公开了一种基于极速神经网络模型的正则快速学习方法(Regularized Extreme Learning Machine，RELM)。

二、背景技术

单隐藏层前馈神经网络(SLFN：Single-hidden Layer Feedforward Neural Network)之所以能够在很多领域得到广泛应用，是因为它有很多优点：(1)具有很强的学习能力，能够逼近复杂非线性函数；(2)能够解决传统参数方法无法解决的问题。但另一方面缺乏快速学习方法，也使其很多时候无法满足实际需要。

对于SLFN的学习能力，很多文献分别从紧集(compact input sets)和有限集(infinite input sets)两种输入情况进行了深入研究。Hornik研究表明：如果激励函数连续、有界且不是常量函数，那么SLFN能够在紧集情况下逼近任何连续函数[1]；Leshno在Hornik基础的进一步研究表明：使用非多项式激励函数的SLFN能够逼近任何连续函数[2]。在实际应用中，神经网络的输入往往是有限集，对于有限集情况下SLFN的学习能力，Huang和Babri的进行了研究，结果表明：对于含有N个不同实例的有限集，一个具有非线性激励函数的SLFN最多只需N个隐藏层结点，就可以无误差的逼近这N个实例[3][4]。这就是说，一个具有N个隐藏层结点的SLFN，即使输入权值随机取值，它也能够准确拟合N个不同的实例，更明确的讲就是：SLFN的学习能力只和隐藏层结点的数目有关，而和输入层的权值无关。虽然这一点对于提出一种新的学习算法很有启发，但并未引起研究者的注意，迭代调整的思想一直坚持到现在，很多算法都只是围绕这一思想进行技巧性的改进。不同于传统的学习方法，Huang基于以上研究结论为SLFN提出了一种称为极速学习机(Extreme Learning Machine，ELM)的学习方法[5]：设置合适的隐藏层结点数，为输入权和隐藏层偏差进行随机赋值，然后输出层权值然通过最小二乘法得到。整个过程一次完成，无需迭代，与BP相比速度显著提高(通常10倍以上)。

但是ELM基于经验风险最小化原理，这可能会导致过度拟合问题[6]。此外因为ELM不考虑误差的权重，当数据集中存在离群点时，它的性能将会受到严重影响[7]。为了克服这些缺点，我们结合结构风险最小化理论以及加权最小二乘方法对ELM算法进行改进，使得ELM在保持“快速”这一优势的前提下，泛化性能得到进一步的提高。

三、发明内容

本发明的目的在于克服上述现有技术的不足，借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM)，避免了多次迭代和局部最小值，具有良好的泛化性、鲁棒性与可控性。包括以下几方面内容：

(1)修正代价函数

根据Huang为SLFN提出的一种称为极速学习机(Extreme Learning Machine，ELM)的学习方法[5]，并结合统计学理论可知，实际风险包括经验风险和结构风险两种成分[8]。因此一个具有较好泛化性能的模型应该能权衡这两种风险，并取得最佳的折中。RELM将同时考虑这两种风险因素，并通过参数γ调节两种风险的比例。RELM的修正后的代价函数表示为：