[发明专利]一种多极限学习机模型构建方法、装置及计算机设备

说明书

涉及计算机技术领域，尤其涉及基于无限混合高斯分布的多极限学习机模型的构建方法、装置及计算机设备。本发明通过建立多极限学习机模型(MELM)，使用无限混合高斯分布(IMoG)来拟合模型MELM的回归误差，采用稀疏贝叶斯学习方法来优化模型MELM中的输出权重和模型权重，同时采用变分贝叶斯的方法对模型中所有参数进行优化，获得一个紧致的预测模型，预测效果良好，不仅具有超强的鲁棒性能，可以避免预先确定MoG中单个高斯分布的数量，并且在给定模型参数初始值的情况下可以自动获得模型中所有参数的概率分布。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多极限学习机模型构建方法、装置及计算机设备。

背景技术

在大数据时代，数据量越来越庞大，对研究对象的大规模信息获取相对也变的更容易，同时数据采集过程中的人为或仪器设备等因素，数据难免会存在一些异常点，这些点对所要建立的模型的性能会产生极大的影响，因此有必要开发对异常点有一定鲁棒性的回归模型。

现有技术中通常采用两种方法处理带异常点的回归问题：数据预处理方法和鲁棒回归模型。数据预处理方法有两类：基于异常点检测的数据处理方法的和信号处理方法。前者仅仅对异常点进行处理，通常采用统计、基于距离、基于密度的模型和软计算技术来检测异常点，再将这些点从训练数据中删除；后者通常使用信号处理方法(例如小波变换)对原始的数据中所有的样本点进行预处理，以减少异常点或未知噪声的不利影响。鲁棒回归模型通过设计鲁棒损失函数的原则是使损失函数的值不会随着误差的增加而改变太多，常见的策略是将权重添加到不同的样本中，如Hurbe，Hampel，Logistic和Myriad加权函数，进而得出加权的损失函数，如基于lncosh损失函数开发了鲁棒的支持向量机、基于最小绝对偏差损失函数的鲁棒最小二乘支持向量机。

上述对异常点或者未知噪声更鲁棒的回归模型虽然能够较为精确的预测结果，但是数据预处理方法无法确定是否检测到所有的异常点并对其进行了预处理，采用损失函数一方面难于优化，另一方面无法对真实的复杂的误差分布进行全面刻画。

发明内容

基于此，本发明针对上述的问题，提供了一种多极限学习机模型构建方法，旨在解决现有异常点检测回归模型难于优化，无法对真实的复杂的误差分布进行全面刻画的技术问题。

本发明提供了一种多极限学习机模型构建方法，具体包括：

获取多个含有不同隐含层节点数的单极限学习机模型，并赋予所述单极限学习机模型权重值，构建多极限学习机模型；所述多极限学习机模型包括输出值向量，模型权值向量和误差项；

在贝叶斯框架下，根据截棍构建理论构建所述误差项的分布权重，获取误差项无限混合高斯分布；

获取用户给定的输出权值向量和模型权值向量，获得所述输出权值向量和模型权值向量的稀疏先验分布；

根据所述误差项混合高斯分布、输出权值向量和模型权值向量的稀疏先验分布获得数据和所述多极限学习机模型中参数集合的联合概率；以及

将所述联合概率中的参数采用变分贝叶斯方法推断，获得所述多极限学习机模型参数的后验分布。

更进一步地，所述在贝叶斯框架下，根据截棍构建理论构建所述误差项的分布权重，获取误差项无限混合高斯分布具体包括：

在贝叶斯框架下，引入指标变量z_ik，误差项的混合高斯分布可表示为：