[发明专利]一种基于判别矩阵变量受限玻尔兹曼机的图像识别方法

权利要求书

1.一种基于判别式矩阵变量受限玻尔兹曼机模型的图像识别方法，其特征在于，包括以下步骤：

步骤1、判别式矩阵变量受限玻尔兹曼机模型

矩阵变量受限玻尔兹曼机模型的能量函数定义为：

其中，为可视层矩阵变量，表示输入数据，即输入图像，每帧图像尺寸大小为I×J；为隐含层矩阵变量，表示基于该模型提取的输入数据的具有判别性的特征，即表示输入图像的特征，大小为K*L；为X与H的连接权重，是四阶张量变量，表示输入图像与模型提取到的特征之间的非线性映射关系；为可见层的偏置矩阵变量，表示输入数据的偏移量；为隐含层的偏置矩阵变量，表示输出特征的偏移量；

可基于该能量函数定义可见层和隐含层的联合概率分布，即模型所拟合的输入图像与特征的联合概率,如公式(2)：

并基于该联合概率分布定义对数似然函数:

进一步，采用基于判别的矩阵变量受限玻尔兹曼机用于二维图像分类，记为DisMVRBM，即在原MVRBM模型基础上增加类别约束，使改进的MVRBM具有分类能力，

DisMVRBM旨在通过隐层特征H建模输入图像数D_train＝{X⁽¹⁾,...,X⁽ⁿ⁾,...,X^(N)}和相应类别标签Y＝[Y_zt]∈R^Z*T,Z＝1的联合分布，因此定义有类别约束的能量函数如下：

其中，为可见层标签矩阵变量，标识输入数据的类别，即输入图像对应的标签，z＝Z＝1为常数，所以可视为向量变量；为Y与H的连接权重，是四阶张量变量，表示输入图像的标签与输出特征之间的非线性映射关系；为标签层的偏置矩阵变量，表示标签的偏移量，同理，可视为向量变量；

其中，标签层为一位有效编码向量，即如果输入数据的标签为第t类，则该数据对应的标签层向量的第t个分量为1，其他分量均置零。

假定隐含层单元和可见层、以及隐含层和标签层的连接权重具有特定结构，所述特定结构即对权重张量做分解：

和p_ztkl＝q_kzr_lt

通过定义矩阵形式：

从而得到变形后的DisMVRBM的能量函数为：

E(X,Y,H；Θ)＝-tr(U^THVX^T)-tr(X^TB)-tr(Q^THRY^T)-tr(Y^TD)-tr(H^TC) (5)

其中，Θ＝{U,V,Q,R,B,C,D}表示模型所有参数。

基于以上公式，X,Y,H的联合概率，即输入图像、特征与对应标签的联合概率：

上式中归一化常量Z(Θ)定义为：

隐层某个单元被激活的概率，即某一个特征被激活的概率：

其中σ(a)＝1/(1+exp(-a))，以矩阵表示为：

p(H＝1|X,Y；Θ)＝σ(C+UXV^T+QYR^T) (9)

公式(8)表示逐一计算隐层H的每一个元素为1的概率，σ计算应用到相应的每一个矩阵元素。

可视层某个单元的激活概率，即某个输入图像像素点的激活概率：

矩阵形式表示为：

p(X＝1|H；Θ)＝σ(B+U^THV) (11)

同公式(8)，公式(10)表示逐一计算可见层X的任意一个元素为1的概率，σ计算应用到相应的每一个矩阵元素。同理，标签层各分量的条件概率如下：

其中，y_zt＝1表示训练图像数据属于第t类。

矩阵形式表示：

这里,分母里涉及的下标t表示标签属于第t类，分子t^*表示所有可能的标签的类别。

给定参数Θ，X,Y的联合概率分布为：

步骤2、判别式矩阵变量受限玻尔兹曼机模型求解

假设给定一组包含N个样本的训练图像数据集D_train＝{X⁽¹⁾,...,X⁽ⁿ⁾,...,X^(N)}，在以如下条件概率为目标函数，基于极大似然法进行参数Θ的估计，似然函数为

其中，N为样本个数；n表示第n个样本；y⁽ⁿ⁾是一个向量，所以此处以及下文中用y⁽ⁿ⁾代替Y⁽ⁿ⁾，第t个分量是1，其余的分量全为0，即表示y⁽ⁿ⁾的第t个分量，并且的值是1，表示数据X⁽ⁿ⁾的类别是t；Θ表示所有的模型参数。上述目标函数旨在求使在当前模型参数下，对于输入的样本X⁽ⁿ⁾，标签为y⁽ⁿ⁾的概率最大。

根据条件概率公式得：

目标函数对模型参数的导数：

为了计算(17)，需要分别计算(17)式中第二个等号右边的三个部分：

p(H|X⁽ⁿ⁾,y⁽ⁿ⁾)，p(y,H|X⁽ⁿ⁾)。

下面分别计算这三个部分：

●计算

其中由(1)式的：

上面(18.1)～(18.6)为矩阵中每个元素的计算方式。

●计算p(H|X⁽ⁿ⁾,y⁽ⁿ⁾)：

因为的结果中都含有h_kl，h_kl是矩阵变量H中的一个元素。

所以这里有：

上式为矩阵H中每一个元素的计算方式。

●计算p(y,H|X⁽ⁿ⁾)：

先化简：

上式分子y表述某一具体的类别；分母上的y*表示要遍历所有的类别。

其中分子：

至止，可得式(17)中目标函数对各个参数的偏导数，带入(18)，(19)，(20)的计算结果到(17)中即可。

鉴于(18.6)特殊性，这里单独给出:

其中，p(y_t|X⁽ⁿ⁾)表示由训练数据X⁽ⁿ⁾计算得到的第t类的概率值。

最后用梯度上升法优化使目标函数最大化，将(17)式的各个结果带入下式中更新：

其中θ∈Θ，λ是学习率，进行多次迭代后，得到优化后的模型即可。