[发明专利]模型参数优化的方法及装置

说明书

技术领域

本发明属于信息技术领域，尤其涉及一种模型参数优化的方法及装置。

背景技术

传统的神经网络方法会因为采用梯度下降法进行训练学习而存在易陷入局部最小值的不足，同时，网络构建过程因为需要对大量的参数进行调整，因此难以建立起最优的模型。为了克服神经网络的上述缺点，南洋理工大学黄广斌教授等人提出了一种新的神经网络学习方法，即极限学习机。然而，由于极限学习机的输入参数是随机产生的，会导致模型的性能不稳定；对此，黄广斌教授等人继续提出了核极限学习机。核极限学习机不需要随机设置输入层和隐藏层的权值，能够获得更高的训练速度，因此得到广泛应用。

然而，现有的核极限学习机的性能极其容易受到惩罚系数C与核宽γ两个参数的影响。其中，惩罚系数C用于控制训练误差和模型复杂度之间的平衡，核宽γ则定义了从输入空间到高维特征空间的非线性映射关系。在构造模型时，需要预先确定所述惩罚系数C与核宽γ。现有技术主要利用网格搜索方法确定所述惩罚系数C与核宽γ，然而网格搜索方法容易陷入局部最优的问题，无法得到最优的惩罚系数C与核宽γ，进而影响了模型的分类、预测效果。

发明内容

鉴于此，本发明实施例提供了一种模型参数优化的方法及装置，以获取最优的惩罚系数C与核宽γ，提高所构建模型的分类及预测效果。

第一方面，提供了一种模型参数优化的方法，所述方法包括：

获取样本数据，并对所述样本数据进行标准化处理；

采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ；

根据所述标准化后的样本数据、最优惩罚系数C和最优核宽γ，构建目标分类预测模型；

其中，所述目标分类预测模型为：

在上式中，s表示待测数据，s₁'，…，s_N'表示标准化后的样本数据，N表示样本数，Ω_ELM为预置的符合Mercer定理构造的核矩阵，O表示目标向量，O＝[o₁,…,o_N]，公式K(s,s_n')＝exp(-γ||s-s_n'||²)，n∈[1,N]。

进一步地，所述采用标准化后的样本数据，通过结合混沌理论的飞蛾优化算法获取核极限学习机的最优惩罚系数C和最优核宽γ包括：

A：初始化最大迭代次数T、飞蛾数量L以及搜索空间，其中所述搜索空间为由惩罚系数C的搜索范围[C_min,C_max]和核宽γ的搜索范围[γ_min,γ_max]组成的二维空间；

B：采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l，其中M'_l＝(m'_l1,m'_l2)，l∈[1,L]；

C：针对每一个飞蛾位置M'_l计算其对应的飞蛾的适应度f_l；

D：对所有L个飞蛾的适应度f_l进行排序以及按照适应度f_l的顺序对所有的飞蛾位置M'_l进行排序，参照排序后的所述适应度f_l和飞蛾位置M'_l对光源的位置进行更新；

E：根据更新后的光源的位置对所述搜索空间中的每一个飞蛾位置M'_l进行更新；

F：采用混沌映射函数对每一个更新后的飞蛾位置M'_l进行混沌化处理；

G：判断当前迭代次数是否达到最大迭代次数T；若是时，从混沌化处理后的飞蛾位置M'_l中输出最优的飞蛾位置M'_{l_max}＝(m'_{l1_max},m'_{l2_max})，以得到最优惩罚系数C和核宽γ；否则，返回步骤C，以计算混沌处理后的飞蛾位置M'_l对应的飞蛾的适应度f_l，进行下一次迭代运算。

进一步地，所述采用混沌映射函数，初始化L只飞蛾中每一只飞蛾在所述搜索空间中的飞蛾位置M'_l包括:

随机生成第一只飞蛾的位置M₁＝(m₁₁,m₁₂)；