[发明专利]一种基于判别矩阵变量受限玻尔兹曼机的图像识别方法

摘要

本发明公开一种基于判别式矩阵变量受限玻尔兹曼机模型的图像识别方法，采用基于判别的矩阵变量受限玻尔兹曼机用于二维图像分类，记为DisMVRBM，此模型能够直接对图像进行建模，而不需要向量化，保留了原始样本的结构信息。与MVRBM相比，本模型增加了标签层，意味着在提取特征的过程中融入了标签信息，使得提取的特征具有判别性，会提升分类性能；并且由于增加了标签层本模型可以直接当作一个独立的分类器，不用再链接其他的分类器，省去了对其他分类器的微调训练阶段。

主权项

1.一种基于判别式矩阵变量受限玻尔兹曼机模型的图像识别方法，其特征在于，包括以下步骤：步骤1、判别式矩阵变量受限玻尔兹曼机模型矩阵变量受限玻尔兹曼机模型的能量函数定义为：其中，为可视层矩阵变量，表示输入数据，即输入图像，每帧图像尺寸大小为I×J；为隐含层矩阵变量，表示基于该模型提取的输入数据的具有判别性的特征，即表示输入图像的特征，大小为K*L；为X与H的连接权重，是四阶张量变量，表示输入图像与模型提取到的特征之间的非线性映射关系；为可见层的偏置矩阵变量，表示输入数据的偏移量；为隐含层的偏置矩阵变量，表示输出特征的偏移量；可基于该能量函数定义可见层和隐含层的联合概率分布，即模型所拟合的输入图像与特征的联合概率,如公式(2)：并基于该联合概率分布定义对数似然函数:进一步，采用基于判别的矩阵变量受限玻尔兹曼机用于二维图像分类，记为DisMVRBM，即在原MVRBM模型基础上增加类别约束，使改进的MVRBM具有分类能力，DisMVRBM旨在通过隐层特征H建模输入图像数Dtrain＝{X(1),...,X(n),...,X(N)}和相应类别标签Y＝[Yzt]∈RZ*T,Z＝1的联合分布，因此定义有类别约束的能量函数如下：其中，为可见层标签矩阵变量，标识输入数据的类别，即输入图像对应的标签，z＝Z＝1为常数，所以可视为向量变量；为Y与H的连接权重，是四阶张量变量，表示输入图像的标签与输出特征之间的非线性映射关系；为标签层的偏置矩阵变量，表示标签的偏移量，同理，可视为向量变量；其中，标签层为一位有效编码向量，即如果输入数据的标签为第t类，则该数据对应的标签层向量的第t个分量为1，其他分量均置零。假定隐含层单元和可见层、以及隐含层和标签层的连接权重具有特定结构，所述特定结构即对权重张量做分解：和p_ztkl＝q_kzr_lt通过定义矩阵形式：从而得到变形后的DisMVRBM的能量函数为：E(X,Y,H；Θ)＝‑tr(UTHVXT)‑tr(XTB)‑tr(QTHRYT)‑tr(YTD)‑tr(HTC)  (5)其中，Θ＝{U,V,Q,R,B,C,D}表示模型所有参数。基于以上公式，X,Y,H的联合概率，即输入图像、特征与对应标签的联合概率：上式中归一化常量Z(Θ)定义为：隐层某个单元被激活的概率，即某一个特征被激活的概率：其中σ(a)＝1/(1+exp(‑a))，以矩阵表示为：p(H＝1|X,Y；Θ)＝σ(C+UXVT+QYRT)  (9)公式(8)表示逐一计算隐层H的每一个元素为1的概率，σ计算应用到相应的每一个矩阵元素。可视层某个单元的激活概率，即某个输入图像像素点的激活概率：矩阵形式表示为：p(X＝1|H；Θ)＝σ(B+UTHV)  (11)同公式(8)，公式(10)表示逐一计算可见层X的任意一个元素为1的概率，σ计算应用到相应的每一个矩阵元素。同理，标签层各分量的条件概率如下：其中，yzt＝1表示训练图像数据属于第t类。矩阵形式表示：这里,分母里涉及的下标t表示标签属于第t类，分子t*表示所有可能的标签的类别。给定参数Θ，X,Y的联合概率分布为：步骤2、判别式矩阵变量受限玻尔兹曼机模型求解假设给定一组包含N个样本的训练图像数据集Dtrain＝{X(1),...,X(n),...,X(N)}，在以如下条件概率为目标函数，基于极大似然法进行参数Θ的估计，似然函数为其中，N为样本个数；n表示第n个样本；y⁽ⁿ⁾是一个向量，所以此处以及下文中用y⁽ⁿ⁾代替Y⁽ⁿ⁾，第t个分量是1，其余的分量全为0，即表示y⁽ⁿ⁾的第t个分量，并且的值是1，表示数据X⁽ⁿ⁾的类别是t；Θ表示所有的模型参数。上述目标函数旨在求使在当前模型参数下，对于输入的样本X⁽ⁿ⁾，标签为y⁽ⁿ⁾的概率最大。根据条件概率公式得：目标函数对模型参数的导数：为了计算(17)，需要分别计算(17)式中第二个等号右边的三个部分：p(H|X⁽ⁿ⁾,y⁽ⁿ⁾)，p(y,H|X⁽ⁿ⁾)。下面分别计算这三个部分：●计算其中由(1)式的：上面(18.1)～(18.6)为矩阵中每个元素的计算方式。●计算p(H|X(n),y(n))：因为的结果中都含有h_kl，h_kl是矩阵变量H中的一个元素。所以这里有：上式为矩阵H中每一个元素的计算方式。●计算p(y,H|X(n))：先化简：上式分子y表述某一具体的类别；分母上的y*表示要遍历所有的类别。其中分子：至止，可得式(17)中目标函数对各个参数的偏导数，带入(18)，(19)，(20)的计算结果到(17)中即可。鉴于(18.6)特殊性，这里单独给出:其中，p(yt|X(n))表示由训练数据X(n)计算得到的第t类的概率值。最后用梯度上升法优化使目标函数最大化，将(17)式的各个结果带入下式中更新：其中θ∈Θ，λ是学习率，进行多次迭代后，得到优化后的模型即可。