[发明专利]随机权网络泛化能力改进方法及装置

说明书

本发明公开了一种随机权网络泛化能力改进方法及装置，该方法及装置在不改变随机权网络框架结构的前提下，通过挖掘训练样本中的不确定性值最大的目标样本，生成与不确定性值最大目标样本近似同分布的仿真样本，并基于仿真样本迭代式地对随机权网络输出层权重进行更新，使得能够实现主动挖掘训练样本潜藏信息进而对随机权网络泛化能力进行改进的目的。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种随机权网络泛化能力改进方法及装置。

背景技术

随机权网络(Random Weight Network，RWN)是一种不依赖迭代式权重更新策略的全链接前馈神经网络，与传统的基于误差反传方法的权重更新策略不同，RWN随机地选择输入层权重，通过求解隐含层输出矩阵的伪逆，进而计算出输出层权重的解析解。由于避免了迭代式的权重调整，因此，随机权网络获得了极快的训练速度，同时，万能逼近定理理论上保证了随机权网络的收敛性。

当前，大量关于随机权网络泛化能力改进的研究工作被提出，主要集中在随机权网络框架的改进上，包括输入层权重的改进，最佳隐含层节点个数的选取，多随机权网络的集成等，这些改进在一定程度上提升了随机权网络的预测表现，但是忽略了对训练数据本身所包含信息的深层次利用。换言之，现有的随机权网络改进工作是对训练数据的被动使用，仅将其作为检验改进工作效果的试验田，而不是主动挖掘训练数据内在信息用以指导如何对随机权网络的泛化能力进行改进。

发明内容

本发明的主要目的在于提供一种随机权网络泛化能力改进方法及装置，旨在解决现有技术中，未实现主动挖掘训练数据内在信息用以指导如何对随机权网络的泛化能力进行改进的技术问题。

为实现上述目的，本发明第一方面提供一种随机权网络泛化能力改进方法，包括：

步骤1：利用训练样本训练随机权网络RWN^(r)，得到训练后的随机权网络RWN^(r+1)，及所述训练样本中各样本的不确定性值，其中，r的初始值为0，且为初始训练样本，RWN⁽⁰⁾为初始随机权网络；

步骤2：从所述训练样本中选择不确定性值最大的目标样本，利用所述目标样本与预置的邻域控制因子生成仿真样本；

步骤3：计算所述仿真样本与所述训练样本的并集，将所述并集作为新的训练样本

步骤4：令r＝r+1，返回所述步骤1，直至r＝R时，在执行所述步骤1之后，结束训练过程，以得到改进后的随机权网络RWN^(R)，R为预先设置的迭代训练次数。

为实现上述目的，本发明第二方面还提供一种随机权网络泛化能力改进装置，包括：

训练模块，用于利用训练样本训练随机权网络RWN^(r)，得到训练后的随机权网络RWN^(r+1)，及所述训练样本中各样本的不确定性值，其中，r的初始值为0，且为初始训练样本，RWN⁽⁰⁾为初始随机权网络；

选择生成模块，用于从所述训练样本中选择不确定性值最大的目标样本，利用所述目标样本与预置的邻域控制因子生成仿真样本；

计算模块，用于计算所述仿真样本与所述训练样本的并集，将所述并集作为新的训练样本

返回结束模块，用于令r＝r+1，返回所述训练模块，直至r＝R时，在执行所述训练模块之后，结束训练过程，以得到改进后的随机权网络RWN^(R)，R为预先设置的迭代训练次数。

本发明提供一种随机权网络泛化能力改进方法，该方法中，在不改变随机权网络框架结构的前提下，通过挖掘训练样本中的不确定性值最大的目标样本，生成仿真样本，并基于仿真样本通过迭代的方式对随机权网络进行训练，使得能够实现主动挖掘训练样本以对随机权网络的泛化能力进行改进的目的。