[发明专利]基于矩阵变量的高斯分布受限玻尔兹曼机的图像识别方法

说明书

技术领域

本发明属于特征提取及神经网络领域，尤其涉及一种基于高斯分布的矩阵变量的受限玻尔兹曼机的图像识别方法。

背景技术

人工神经网络(Artificial Neural Network，ANN)是一种通过模仿生物神经网络的结构和功能而建立起来的计算模型，是很具有代表性的一类机器学习方法。典型的ANN是由大量的简单处理节点(人工神经元)构成，这些节点是具有层次结构的，并且以指定方式互相关联。一些节点对外部可见而另外一些对外部隐藏，两个节点间的关联即权重。训练一个ANN模型即是要根据训练数据计算权重系数。

玻尔兹曼机(Boltzmann Machine，BM)是Hinton和Sejnowski于1985年提出的一种根植于统计力学的随机神经网络。BM由一个可见层和一个隐藏层组成，两层节点之间以及隐藏层的节点间拥有对称的双向连接权重。在训练时，将训练数据集作为可见层的输入，神经元的输出只有两种状态(未激活、激活)，一般用二进制的0和1表示，状态的取值根据概率统计法则决定。

BM具有强大的无监督学习能力，能够学习数据中复杂的规则。但是，BM的同层节点间具有相互关联，所以导致其难以训练。为克服这一问题，Smolensky引入了一种限制的波尔兹曼机(Restricted Boltzmann Machine，RBM)。RBM与BM具有相同的层次结构，而不同的是RBM模型的同层节点间不再具有连接权重。RBM具有很好的性质：在给定可见层节点状态(输入数据)时，各隐藏层节点的激活条件独立；反之，在给定隐藏层节点状态时，可见层节点的激活亦条件独立。这种修改简化了涉及到的公式，并大大加快了算法的学习速度。此外，Roux和Bengio从理论上证明，只要隐单元的数目足够多，RBM能够拟合任意离散分布。在求解模型时，可通过Gibbs采样得到服从RBM节点分布的随机样本，但Gibbs采样迭代次数较多，而当RBM中节点数较多时，学习速度仍然很慢。为了解决采样速度慢的问题，Hinton提出了RBM的快速学习算法——对比散度(Contrastive Divergence，CD)，此方法可以通过一次迭代得到样本的近似。还有一些研究者在CD算法的基础上，对其作了进一步改进。例如Tieleman于年提出了持续对比散度(Persistent Contrastive Divergence，PCD)算法，Tieleman和Hinton进一步改进了PCD算法，提出了快速持续对比散度(Fast Persistent Contrastive Divergence，FPCD)算法。目前，RBM被应用于深度信念网络(Deep Belief Nets，DBN)的多层结构的构建，以及不同的机器学习问题，如数据降维、人脸识别、协同过滤等。

原始的BM和RBM的输入和输出节点都是二值的，这就带来了两个主要的限制：(1)这种模型仅适用于二值数据的或近似于二值数据的数据集，而很多现实世界中的数据不能用二值数据近似；(2)二值的隐藏层节点不能完整地表达数据降维或特征提取后的信息。为了克服这些问题，人们改进RBM模型，使其接受连续值作为输入，例如GBRBM(Gaussian Bernoulli RBM):GBRBM的可见层节点服从高斯分布，其隐藏层节点仍然是二进制数据，服从伯努利分布。GBRBM比RBM拥有更好的表达能力，并且GBRBM能够适用于更多的领域。Cho等人于2011年提出了IGBRBM(Improved Gaussian Bernoulli RBM)，IGBRBM是对GBRBM进行了改进，应用了自适应的学习率，克服了模型训练难度大、收敛速度慢等问题。

经典的RBM模型主要用于输入为一维向量数据。然而，现实世界中的数据往往是高维的，并且其内部具有相关结构，例如图像、视频等。传统的RBM总是将高维数据进行向量化，得到一维数据。但向量化后，原始数据的结构被破坏，并且造成了维度灾难。因此出现了高阶玻尔兹曼机，Nguyen at al.提出了张量数据的RBM(Tensor-variate RBM,TvRBM),Qi at al.提出了矩阵数据的RBM(Matrix Variate RBM,MVRBM)。但它们的可视层和隐藏层都是满足Bernoulli分布的二值数据，并不能很好的拟合现实中的数据，因此对于分布在实数域上的图像的识别效果较差。