[发明专利]一种随机权网络泛化能力改进方法、装置和计算机可读存储介质

摘要

本发明公开了一种随机权网络泛化能力改进方法、装置和计算机可读存储介质，本发明的随机权网络泛化能力改进方法首先在伪残差数据集上解析地计算弱随机权网络的初始输出层权重，之后，设计了考虑当前集成学习模型损失和复杂度的目标函数，通过最小化目标函数计算出了最优输出层权重的优化准则，最后，以初始输出层权重为启发式，结合推导的优化准则，计算出弱随机权网络的最优输出层权重，该过程可以看作是对弱随机权网络初始输出层权重的再次优化，通过目标函数得出优化规则，并对弱随机权网络初始输出层权重进行再次优化的好处主要体现在：结构较为简单的集成学习模型能够获得更好的泛化表现、更优秀的过拟合控制能力以及更小的预测方差。

主权项

1.一种随机权网络泛化能力改进方法，其特征在于，所述方法包括：步骤S1：在初始训练集上训练初始随机权网络RWN₀，其输入层权重和隐含层偏置在区间[‑1,1]内随机选取，其输出层权重依据下式解析求得：其中，H0为RWN0的隐含层输出矩阵，I为L×L阶单位矩阵，正则化因子λ>0，规范化因子C>0，L为随机权网络隐含层节点个数，且L>0；步骤S2：从k＝1到k＝K，进行如下迭代运算：计算损失函数在处的一阶导数向量计算损失函数在处的二阶导数向量计算伪残差向量基于伪残差训练数据集确定弱随机权网络RWN_k的初始输出层权重：其中，Hk为RWNk的隐含层输出矩阵，I为L×L阶单位矩阵；确定RWN_k最优输出层权重对当前的集成学习模型或梯度提升随机权网络进行更新，即GBRWNk＝GBRWNk‑1+RWNk和Fk(X)＝Fk‑1(X)+Ek(X)。