[发明专利]一种深度置信网的流水线式预训练方法

摘要

本发明提供了一种基于DNN的蒙古语声学模型的训练方法。用DNN深度神经网络代替GMM高斯混合模型，实现对蒙古语声学状态的后验概率进行估算，构建DNN‑HMM声学模型，并公开了该模型的训练方法。本发明可有效降低词识别的错误率和字识别的错误率，提高模型使用性能。本发明涉及一种深度置信网的流水线式预训练方法，以解决深度置信网逐层训练耗时、效率低的问题。在逐层无监督预训练算法中，采用了堆叠RBM的方式来完成深度神经网络的预训练，在下层隐含层完成全部训练数据的拟合之前，不开始上层隐含层的训练任务的。

主权项

1.一种深度置信网的流水线式预训练方法，其特征在于：流式预训练学习算法主要完成过程如下：(1)根据计算节点数目以及网络结构对深度神经网络进行划分。(2)完成深度神经网络的分布式划分后，由深度神经网络的底层开始进行预训练。(3)重复进行过程(2)直到所有的隐含层训练完毕。隐含层训练完毕后，收集各机器节点上的模型参数，便可以开始进行网络模型的调优。流式预训练框架：流式预训练框架采用主从式集群结构设计，主节点负责实现训练任务初始化、计算资源分配以及网络训练过程中的调度；从节点负责具体的隐含层训练工作以及与其它节点通信。该训练框架采用Python实现，节点间的通信通过socket通信实现的，而各计算节点上RBM的训练是通过Theano实现的。