[发明专利]一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法

摘要

本发明公开一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法，它由稀疏高斯伯努利受限玻尔兹曼机、长短时记忆循环神经网络、感知器和Softmax输出层组成；稀疏高斯伯努利受限玻尔兹曼机能够从无标签数据中学习数据的非线性特征，循环神经网络可以很好的处理序列数据，采用长短时记忆单元则解决了网络训练过程中出现的梯度消失或梯度爆炸问题，感知器和Softmax输出层增强了网络的有监督分类能力，本发明的模型具有对非线性数据和动态性数据的优良的特征提取和感知能力，可以有效地解决因过程数据的非线性和故障数据动态性等特点导致的故障分类准确率低的问题。

主权项

1.一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型，其特征在于，该模型简称为SGRBM‑LSTM‑RNN，共分为四部分，第一部分包含k个稀疏高斯伯努利受限玻尔兹曼机网络，即SGRBM，其中k为序列长度，每个SGRBM包含一个输入层和一个隐藏层；第二部分包含k个长短时记忆单元组成的长短时记忆循环神经网络，即LSTM‑RNN；第三部分是一个单隐藏层的感知器，第四部分是Softmax网络层；其中第k个长短时记忆单元的隐藏层状态输出至感知器中，再由Softmax网络层输出每个类别的后验概率；模型相关的参数包括输入序列的长度k，SGRBM的输入层和隐藏层的连接权重W1，输入层和隐藏层的偏置a，b1,LSTM‑RNN中遗忘门、输入门和输出门的权重和偏置Wf，bf，Wi，bi，Wo，bo，第k个LSTM单元到感知器的隐藏层的权重和偏置W2，b2，感知器的隐藏层到Softmax层的权重和偏置W3，b3；该模型对应数据的输入变量为序列X，输出变量为Y，LSTM‑RNN的细胞状态和隐藏层输出分别为C和h。所述的SGRBM‑LSTM‑RNN模型的训练过程分为三个阶段：(1)SGRBM无监督预训练利用单个采样时刻的无标签数据作为输入，应用对比散度算法更新参数θ1＝{W1，a，b1}，然后更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛，得到预训练完的SGRBM模型；(2)LSTM‑RNN，感知器和Softmax层参数初始化采取深度学习Xavier初始化方法对LSTM中遗忘门、输入门和输出门的权重、偏置和感知器、Softmax层的连接权重以及每层的偏置Wf，bf，Wi，bi，Wo，bo，W2，b2，W3，b3进行初始化；(3)SGRBM‑LSTM‑RNN有监督训练将(1)、(2)得到的参数作为SGRBM‑LSTM‑RNN的模型参数初值，将序列数据集输入到SGRBM‑LSTM‑RNN模型中，经过SGRBM和LSTM‑RNN的特征编码前向传播至感知器层后获取特征h，再将{(h1，y1)，(h2，y2)，...，(hL，yL)}输入至Softmax网络层中，最小化有监督学习分类误差，相当于最大化如下优化函数：其中，θ代表整个网络的权重和偏置参数，P(·)表示概率；基于优化函数，通过时间反向传播算法对整个SGRBM‑LSTM‑RNN网络参数进行调整，经多次迭代收敛后得到整个网络最优参数θ*，即获得训练好的SGRBM‑LSTM‑RNN模型。