[发明专利]一种基于最大中心互相关熵准则的极限学习机方法

说明书

本发明公开了一种基于最大中心互相关熵准则的极限学习机方法，先让系统输入训练数据通过基于最大中心互相关熵准则的极限学习机模型，采用较大的核宽，得到模型的输出，让系统的实际输出和模型输出做差值运算，得到模型的误差，用误差的均值或中值作为核的中心，利用最大中心互相关熵准则，利用不动点迭代权重向量，当迭代多次收敛以后，利用得到的权重向量求得模型的输出。本发明具有良好的普适性，适合应用于非高斯系统或信号处理过程，具有同时满足高精度和参数选取迅速的性能，解决了最小均方误差准则下对非高斯噪声的不鲁棒和最大互相关熵准则下的在非零均值噪声下精度不理想且核宽由交叉验证选取较为耗时的问题。

技术领域

本发明属于鲁棒机器学习领域，涉及一种基于最大中心互相关熵准则的极限学习机方法。

背景技术

基于最大互相关熵准则的机器学习模型是近年来发展起来的鲁棒学习方法。它具有很强的鲁棒性和适应性，因此在工程实际中，尤其在信息处理技术中有望得到广泛应用。

任何一个实际的信息处理过程都具有不同程度的不确定性，这些不确定性有时表现在过程内部，有时表现在过程外部。从过程内部来讲，描述研究对象即信息动态过程的数学模型的结构和参数是设计者事先并不一定能确切知道的。作为外部环境对信息过程的影响，可以等效地用扰动来表示。这些扰动通常是不可测的，它们可能是确定性的，也可能是随机的。此外，还有一些测量噪音，也以不同的途径影响信息过程。这些扰动和噪声的统计特性常常是未知的。面对这些客观存在的各式各样的不确定性，如何综合处理该信息过程，并使得某一些指定的性能指标达到最优或近似最优，这就是鲁棒学习所要解决的问题。

因为数学上的简便处理，以及计算复杂度的考虑，最小均方误差准则已经被广泛运用到机器学习领域。但是，线性的均方误差机器学习方法通常在线性高斯噪声情况下较为理想，而在大多数实际应用中面对的系统或者信息过程都是非高斯情况，这时最小均方误差代价函数的机器学习方法效果就不是很理想了。

近期黄广斌等人提出了一种新的单隐层前馈网络学习方法(SLFNs)，称为极限学习机(ELM)。值得注意的是，连接输入层和隐藏层的权重以及偏置项都是随机初始化的。然后，连接隐藏层和输出层的权重可以通过基于Moore-Penrose广义逆的最小二乘法直接确定。因此，ELM的训练速度非常快，这是该方法的主要优点。ELM已广泛应用于人脸识别、图像处理、文本分类、时间序列预测和非线性模型识别等。但是，ELM存在以下两个局限性。

1)当训练集中存在噪声或异常值时，ELM可能产生较差的泛化性能。原因在于均方误差(MSE)准则假定了误差为高斯分布。但是，这种假设并不总是适用于现实世界。

2)ELM中使用的原始最小平方值对噪声或异常值的存在十分敏感。这些异常的样本可能会歪曲最小二乘分析的结果。

近年来出现了许多ELM的变形，黄等人为我们提供了详细的调查研究，还提出了一些新的ELM改进模型。王等人提出了一种名为EELM的改进算法。EELM可以保证隐层输出矩阵的列满秩，而传统的ELM有时无法满足。通过引入遗忘机制，赵等人提出了一种名为FOS-ELM的新型在线序列ELM，与在线序列ELM系统相比，该系统的训练时间更短，准确度更高。最近，Santamaria等人提出了相关熵的定义和性质。均方误差(MSE)是一种全局相似性度量，而相关熵是一种局部相似性度量。由于其灵活性，相关熵已成功用于设计不同的成本函数。Jeong等人通过使用相关熵将最小平均相关能量(MACE)扩展到其相应的非线性版本。此外，他们证实了相比于线性MACE，相关熵MACE更能抵抗失真并具有更多的泛化和抗扰能力。刘等人利用相关熵构造用于训练线性回归模型的目标函数。他们主要证明了在含噪声的回归实例中最大相熵准则优于均方误差和最小误差熵。然而，它们的线性回归器的系数通过基于梯度的优化方法来更新，这是非常耗时的。