[发明专利]一种基于随机反馈的限制玻尔兹曼机学习方法与装置

说明书

技术领域

本发明涉及人工智能技术领域，特别地，涉及一种基于随机反馈的限制玻尔兹曼机学习方法与装置。

背景技术

限制玻尔兹曼机(Restricted Boltzmann Machine，RBM)学习是人工智能研究较为年轻的分支，自21世纪以来，在生物特征提取、智能搜索引擎、医学机器诊断、自动检测信用卡欺诈、证券市场决策分析、DNA序列测序、语音和手迹识别等方面有着成功的应用。在这些应用背后，执行一个高效的机器学习过程变得十分关键，期待机器完成任务越复杂，这个过程也就越困难，持续时间就越长，直接制约了模型应用的可行性和实用性。RBM在无监督机器学习领域得到人们的广泛关注，在非结构化模式降维和特征化中得以普遍应用。人们对于特征的“价值取向”是因任务而异的，降维和特征提取方法不能一成不变。如何改进RBM学习方法，更快地训练得到收敛性更高的机器模型成为一个期待解决的先要问题。

限制玻尔兹曼机的训练过程目标是“求样本分布参数的极大似然估计”，即使得目标参数要尽量满足现有样本集合有极大发生概率。这就意味着通过采样函数得到的单个样本也应该有极大概率，至少是局部极大值点，这样才能保障在此条件下求得的参数可能是极大似然估计。然而，已有文献上的k阶梯对比散度方法及其变体均对于k次反向采样得到的样本缺乏评价，将其直接参与梯度上升学习过程，这样导致了2个缺点：一，对任何训练样本统统执行k次采样，在k>1时，需要执行固定数量的采样，学习效率低下，也常常导致一个较长时间的学习过程；二，对于反向采样的样本缺乏评价和比较，无法保证参与参数梯度学习样本的局部最优性，学习机目标函数实现不了有效和平稳收敛，直接影响了降维模型的重构性能。

针对现有技术中限制玻尔兹曼机学习效率低下、不能有效平稳收敛的问题，目前尚未有有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提出一种基于随机反馈的限制玻尔兹曼机学习方法与装置，能够提高限制玻尔兹曼机的学习效率并有效平稳收敛到极大似然估计。

基于上述目的，本发明提供的技术方案如下：

根据本发明的一个方面，提供了一种基于随机反馈的限制玻尔兹曼机学习方法，包括：

获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

在一些实施方式中，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

在一些实施方式中，所述选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本包括：

选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

计算更新样本与训练样本的误差2-范数，并累加采样计数器；

将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

在一些实施方式中，所述将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

在一些实施方式中，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。

根据本发明的另一个方面，提供了一种基于随机反馈的限制玻尔兹曼机学习装置，包括：

启动模块，用于获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

采样模块，用于选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

修正模块，用于根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

循环模块，连接至采样模块与修正模块，用于对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

在一些实施方式中，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

在一些实施方式中，所述采样模块包括：