[发明专利]一种基于Laplace函数约束的稀疏深度置信网络图像分类方法

权利要求书

1.一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，其特征在于，包括如下步骤：

步骤1、选取训练图像数据集，并进行图像预处理，得到训练数据集；

步骤2、将步骤1预处理后的训练数据集输入到LSDBN网络模型中，利用对比散度算法无监督地自底向上单独训练每一层的LS-RBM网络，使用下层LS-RBM网络的输出作为其邻近上一层LS-RBM网络的输入，通过迭代训练，得到每个LS-RBM网络的参数值，并最终获得所输入图像数据的高层次特征；所述的参数值即权值和偏置；

步骤3、将步骤2得到的参数值作为微调阶段的初始值，采用自顶向下的反向传播算法微调整个LSDBN网络，得到LSDBN网络模型；

步骤4、将测试图像数据集输入到步骤3得到的LSDBN网络模型中，并采用Softmax分类器进行识别测试，最后输出图像分类结果；

所述步骤2具体为：

步骤2.1，构建LSDBN网络模型，设置LSDBN网络模型结构的参数值：可视层节点、隐层节点、隐含层层数、迭代次数和微调次数；其中，可视层节点为输入的图像集的特征维数，隐层节点根据输入图像集的特征维数大小确定；

步骤2.2，将预处理完的训练数据集x作为第一个LS-RBM的输入，采用CD算法对LS-RBM进行训练；

(1)可视层和隐藏层之间的关系用能量函数表示为：

其中，θ表示模型中的参数，即θ＝{W_ij,a_i,b_j}；W_ij是可见层和隐藏层之间的权重矩阵，a_i为可见层节点的偏置，b_j为隐藏层节点的偏置，i为输入的图像的特征数量，即可视层节点，共有n个；j为隐含层节点，共有m个；v_i表示第i个可视层节点，h_j表示第j个隐含层节点；

(2)基于能量函数公式(2)，得到RBM中v和h的联合概率分布为：

其中，Z(θ)是对所有可能的可见层节点和隐含层节点对求和，a_i为可见层节点的偏置，b_j为隐藏层节点的偏置；

利用贝叶斯公式的原理，根据公式(3)的联合概率分布分别求出可视层单元v和隐含层h的边缘概率分布：

利用贝叶斯公式原理以及sigmoid激活函数的定义公式，推导出可视层单元v和隐含层h的条件概率分布公式：

其中，σ(·)为sigmoid激活函数，即神经元的非线性映射函数；

利用公式(7)和公式(8)，使用对比散度算法经过一步吉布斯采样得到训练图像的近似重构P(v；θ)；

(3)利用极大似然法求解P(v；θ)，得到θ的最优值；LS-RBM的似然函数为：

参数的最优值为：

添加稀疏惩罚项后，LS-RBM预训练优化的目标函数为：

F＝F_unsup+λF_sparse (11)

其中，λ为稀疏性参数，用来调节F_sparse的相对重要性，F_sparse表示稀疏正则化函数，公式为：

其中，L(q_j,p,u)为拉普拉斯概率密度函数，q_j表示所给数据第j个隐含层单元的条件期望的平均值，p是一个常数，控制n个隐单元h_j的稀疏度；u表示尺度参数；q_j表达式如下：

其中,E(·)是给定数据时第j个隐含层单元的条件期望，l表示训练图像的张数，m是训练图像数据集的数量，为第l张图片对应的隐含层的第j个单元，v^(l)为第l张图片对应的可视层单元，是给出可见层v时，隐藏层单元h_j的激活概率，g是sigmoid函数，σ_j表示隐含层单元j的输入；

增加稀疏正则化项后，训练LS-RBM的目的为求解公式(10)的目标函数最优值：

其中，P(v^(l))为LS-RBM所要优化的似然函数，即可视层v的分布P(v；θ)；

(4)使用梯度下降法对LS-RBM的目标函数求导来更新权重矩阵和隐含层的偏置，求导公式为：

将求导后的参数值带入到参数θ的更新式中，得到新的参数值：

a⁽¹⁾:＝ma+α(v₁-v₂) (26)

其中，α为学习速率；

(5)用新的参数值继续训练网络，通过不断优化目标函数，使隐含层单元的激活概率逐渐接近给定的固定值p，学习到一组权重参数以及相应的偏置，通过这些合适的参数寻找到稀疏特征向量，控制图像中存在的冗余特征，用图像中主要的特征来组合学习权重以重构输入数据，完成第一个LS-RBM的训练以及相应的参数值θ的更新；

步骤2.3通过第一个LS-RBM训练好的W⁽¹⁾和b⁽¹⁾，并使用P(h⁽¹⁾|v⁽¹⁾,W⁽¹⁾,b⁽¹⁾)得到第二个LS-RBM的输入特征，使用步骤2.2中算法继续训练第二个LS-RBM；

步骤2.4递归的按照以上步骤训练直到训练到l-1层，多次循环迭代之后，得到一个深层次的稀疏DBN模型，即LSDBN网络模型；

步骤2.5对l层的W^(L)和b^(L)进行初始化，并使用{W⁽¹⁾,W⁽²⁾,…，W^(L)}和{b⁽¹⁾,b⁽²⁾,…,b^(L)}组成一个具有L层的深度神经网络，输出层为训练图像集的标签数据，使用Softmax分类器作为输出层。