[发明专利]一种快速的神经网络学习方法

摘要

本发明属于人工智能领域，涉及风险最小化与加权最小二乘理论，公开了一种神经网络的正则快速学习方法(Regularized Extreme Learning Machine，RELM)。它包括：(1)修正代价函数：权衡经验风险和结构风险，并通过参数调节两种风险的比例，最终取得两种风险的最佳折中；(2)修正模型训练：为了降低离群点对模型的干扰，获得一个抗干扰模型，采用对不同样本进行误差加权的方式；(3)输出权计算：首先利用无权模型训练输出权的初始值；采用极速学习机技术得到单隐藏层神经网络模型的各个连接权值以及隐藏层阈值；最终得到加权模型的输出权值。

主权项

一种快速的神经网络学习方法，其特征在于：修正代价函数Huang为SLFN提出了一种称为极速学习机(Extreme Learning Machine，ELM)的学习方法：设置合适的隐藏层结点数，为输入权和隐藏层偏差进行随机赋值，然后输出层权值然通过最小二乘法得到。整个过程一次完成，无需迭代，与BP相比速度显著提高(通常10倍以上)。但是ELM仅考虑经验风险，没有考虑到结构化风险，因此可能导致过度拟合问题。根据统计学理论，实际风险包括经验风险和结构风险两种成分。一个具有较好泛化性能的模型应该能权衡这两种风险，并取得最佳的折中。本专利RELM将同时考虑这两种风险因素，并通过参数γ调节两种风险的比例，RELM的数学模型可表示为： arg min β E ( W ) = arg min β ( 1 2 | | β | | 2 + 1 2 γ | | ϵ | | 2 ) s . t . Σ i = 1 N ~ β i g ( a i · x j + b i ) - t j = ϵ j , j = 1 , . . . , N 其中，误差的平方和||ε||2代表经验风险；||β||2代表结构风险，它源于统计理论中边缘距离最大化原理；而γ则是两种风险的比例参数，通过交叉验证的方式确定γ来获得两种风险的最佳折中点。