[发明专利]基于自编码神经网络的无监督特征提取方法

摘要

基于自编码神经网络的无监督特征提取方法，先进行训练数据矩阵的构建，然后把训练数据矩阵的各个分量值归一化到[0,1]之间，再进行参数学习，得到自编码神经网络模型，然后计算隐藏层的输出，获取特征，最后按照“对折取值”法确定最佳隐藏层神经元的个数，最终确定自编码神经网络的结构，在网络的训练学习中，自编码神经网络规定网络的期望输出等于网络的输入，这样的学习目标使得自编码神经网络的训练过程中不需要训练数据提供期望网络输出，本发明在缺乏先验知识的情形下，可以挖掘设备海量状态数据的内在规律并提取特征。

主权项

基于自编码神经网络的无监督特征提取方法，其特征在于，包括以下步骤：(1)训练数据矩阵的构建：采集设备运行数据，在设备运行数据中每一组数据上任意选取一个点，从该点之后截取m个点构成数据矩阵，从该数据矩阵任意选取n组数据用来构建训练数据矩阵，剩下的数据构建测试数据矩阵，由此就构建了自编码神经网络的m×n维训练数据矩阵；(2)把训练数据矩阵的各个分量值归一化到[0,1]之间：将训练数据矩阵中的所有元素作为一个整体进行归一化，归一化处理过程为：其中：{xi}为设备运行数据，为归一化后的数据，max(xi)为中的最大值，min(xi)为中的最小值；(3)参数学习，得到自编码神经网络模型：自编码神经网络由输入层、隐藏层和输出层构成，参数学习过程，即对自编码神经网络的训练过程，在训练过程中，自编码神经网络规定网络的期望输出等于网络的输入，即自编码神经网络参数学习的目标是使得网络的输出等于网络的输入，自编码神经网络的参数为(W,b)＝(W(1),b(1),W(2),b(2))，其中表示第p层第j神经元与第p+1层第i神经元之间的权值，是第p+1层第i神经元的偏置项，自编码神经网络在包含m个样本的数据集上的整体代价函数为：J(W,b)=1mΣi=1m(12||hW,b(x(i))-hW,b(x(i))||2)+λ2Σp=1np-1Σi=1sp-1Σj=1sp+1(Wji(p))2---(1)]]>hW,b(x)表示自编码神经网络的输出，np表示网络的层数，sp表示第p层的神经元个数，表示第p层第j神经元与第p+1层第i神经元之间的权值；代价函数J(W,b)取得最小值时的W,b就是训练完毕的自编码神经网络的参数；(4)计算隐藏层的输出，获取特征：基于自编码神经网络的无监督特征提取方法提取到的特征其实就是隐藏层的输出，当自编码神经网络的参数在训练过程中确定后，将测试数据x输入到网络中，利用前向算法计算得到隐藏层神经元的激活值构成的向量a，而这个a就是对原始数据x提取的特征表示；(5)按照“对折取值”法确定最佳隐藏层神经元的个数：5.1)确定自编码神经网络输入层的神经元个数，输入层神经元的个数等于训练数据的维数；5.2)然后确定隐藏层神经元个数的取值范围，最小值nmin默认为1，最大值nmax设置为网络输入层的神经元个数；5.3)确定好取值范围后，找出取值范围的中间点m1，该点将取值范围分成两个范围[nmin,m1]和[m1，nmax]，然后找出这两个范围各自的中间点m2m3,将以上5个值nmin,m1,m2,m3,nmax作为隐藏层单元数，并将它们对应的自编码神经网络提取的特征利用模式识别的方法进行分类，通过比较5个值对应的分类结果判断出隐藏层神经元个数在哪个区间上取值时自编码神经网络提取特征的有效性更好；如果隐藏层神经元个数为m3，nmax时对应的分类结果比隐藏层神经元个数为m1，nmin时对应的分类结果好，那么说明隐藏层神经元个数在区间[m1，nmax]内取值自编码神经网络特征提取的有效性更好，那么下一步就在区间[m1，nmax]内使用同样的方法确定更小的取值区间，直至找到合理的隐藏层神经元个数，最终确定自编码神经网络的结构。