[发明专利]一种基于Laplace函数约束的稀疏深度置信网络图像分类方法

说明书

本发明提供一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，属于图像处理、深度学习领域。该方法首先基于对灵长类视觉皮层分析的启发，在无监督阶段似然函数中引入惩罚正则项，使用CD算法最大化目标函数的同时，通过Lapalce稀疏约束获得训练集的稀疏分布，可以使无标签数据学习到直观的特征表示。其次，提出一种改进的稀疏深度信念网络，使用拉普拉斯分布诱导隐含层节点的稀疏状态，同时将该分布中的尺度参数用来控制稀疏的力度。最后使用随机梯度下降法对LSDBN网络的参数进行训练学习。本发明所提的方法即使每类在样本很少的情况下，始终达到最好的识别准确度，并且具有良好的稀疏性能。

技术领域

本发明涉及图像处理、深度学习领域，特别是涉及一种基于Laplace函数约束的稀疏深度置信网络(Laplace Sparse Deep Belief Network，LSDBN)图像分类方法。

背景技术

现有的图像分类主要是采用基于生成模型或者判别模型的方法，这些浅层结构模型存在一定的局限性，在样本有限的情况下复杂函数的表达能力有限，泛化能力受到一定的制约，致使模型分类效果下降；图像数据特征存在大量噪声和冗余信息，需要进行预处理，从而消耗大量时间和资源。因此优异的特征提取算法和分类模型是图像处理的一个重要研究方向。

近年来，深度学习迅速发展，Hinton等人于2006年提出了深度置信网络(DeepBelief Networks，DBN)以及无监督贪婪逐层训练算法，解决了深度神经网络易陷入局部最优的问题，引发了深度学习在学术界的新浪潮。DBN通过多层次的特征变换得到对于原始数据的抽象表示，从而提高分类和预测等任务的准确性，因DBN具有自动学习特征和数据降维的优势，已经成为深度学习应用最广泛的网络结构，目前，DBN在语音识别、图像分类、人脸识别等相关领域都取得了突破性的进展。

DBN所构建的图像分类算法可以集成学习各层次的特征表示，保留图像特征的空间信息，同时利用了DBN自动学习分类特征的优势，避免了传统提取特征算法较差的普适性。尽管DBN模型已经取得了令人鼓舞的成就，但是在训练过程中存在特征同质化现象，即存在大量的共有特征，导致隐含层单元的后验概率偏高，不能很好地学习到数据有用的特征表示，当隐含层单元数量过少时尤为突出。目前解决特征同质化现象的方法就是调节隐含层节点的稀疏性，降低连接权值列之间的相似度，即通过在网络中加入稀疏惩罚因子进行稀疏化。根据研究人类的视觉系统对于针对性的事物，只有少数神经元被激活。受到该研究的启发，研究者为了模拟视觉系统的稀疏表示(Sparse Representation)提出了稀疏编码理论。

稀疏表示在计算机视觉方向上被认为不受局部变形的影响，而且在学习稀疏表示的过程中，总是关注事物最重要的特征，因此可以丢弃冗余特征，降低过度拟合以及噪音污染的影响。所以，将稀疏性引入到受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)的训练过程来避免特征同质化现象，便是一个有意义的想法。目前学者们已经提出多种稀疏RBM模型来解决该问题，有学者试图将隐含层单元激活概率的L0正则化引入到RBM的似然函数中，但是求解L0正则化是一个NP难问题；考虑到L1正则化是凸二次优化问题，有学者通过将隐单元激活概率的L1正则化引入RBM的似然函数，提出新颖的稀疏深层信念网络，Hinton利用交叉熵的概念提出了交叉熵稀疏惩罚因子，使得隐单元具备整体稀疏性；Lee等提出了基于误差平方和的稀疏RBM(SP-RBM)；有学者提出基于率失真理论的稀疏RBM(SR-RBM)，但是没有正确的方法得到SR-RBM失真度量。总之，对于DBN而言，利用RBM的变体就可以通过指定“稀疏目标”来达到二进制隐含单元的稀疏行为。但是这种方法需要事先设定“稀疏目标”，隐含层节点在某种状态下都具有相同的稀疏程度。

发明内容

为了解决现有技术存在的问题，本发明提出一种基于Laplace函数约束的稀疏深度置信网络图像分类方法。

本发明的技术方案：

一种基于Laplace函数约束的稀疏深度置信网络图像分类方法，包括如下步骤：