[发明专利]基于深度玻尔兹曼机的协同目标分割与行为识别方法

摘要

本发明涉及一种基于深度玻尔兹曼机的协同目标分割与行为识别方法。该方法，首先利用深度玻尔兹曼机从目标行为训练库中学习行为与动作的多层结构特征，接着以底层图像分割为出发点，根据贝叶斯推理，将目标分割看作最大化条件概率，然后在学习得到的高层先验行为指导下，采用目标形状信息作为底层、中层和高层连接的纽带，并建立总的能量函数，最后通过能量极小化完成目标的同时分割与行为识别。本发明利用底层与高层的协同合作可以同时提高目标分割的精度和行为识别的准确性，解决了在低质量环境下由于噪声、遮挡、光照等多种因素影响下分割效果不佳的问题。

主权项

1.一种基于深度玻尔兹曼机的协同目标分割与行为识别方法，其特征在于：按以下步骤实现：步骤S1：建立目标的先验行为训练库S，记为S＝{(Q₁,l₁),(Q₂,l₂),…,(Q_n,l_n)}；其中，n为样本个数，Q为目标的行为，l为行为的标记；一个目标行为由T个连续形状构成，即Q＝{q₁,…,q_T}；形状q采用概率的方式定义，q:Ω→[0,1]，其中Ω为图像的定义域，任意x∈Ω，q(x)表示x属于形状的概率；定义Ω中q(x)≥0.5的区域为目标区域，剩余区域为背景区域；假设目标的行为分为K类，用K维向量表示，记为l＝(l₁；l₂；…；l_K)；步骤S2：利用深度玻尔兹曼机对目标行为训练库构建学习模型，其中最底层是目标的多张形状，最高层是行为标签；为相应形状q₁,…,q_T的第一隐含层表示，h²为行为的隐含层表示；通过隐含层构建底层与高层的协同合作；令为学习模型的参数，其中表示q_i与之间的权值，W²与W³分别表示与h²、h²与l之间的权值，a²、a³和b_i分别为h²、l和q_i所在层的偏值；标签层采用softmax分类方法，训练模型的能量方程定义为步骤S3：以底层多张图像分割为出发点，根据贝叶斯推理，将目标分割看作最大化条件概率P(q₁,…,q_T|I₁,…,I_T)，即从给定的多张图像I₁,…,I_T中估计出最佳的目标形状向量q₁,…,q_T；假设多张图像之间相互独立，利用贝叶斯推理可得最大化条件概率转换为最小化上式右边第一项称为先验形状约束项，记为E_s(q₁,…,q_T)＝‑logP(q₁,…,q_T)，第二项为数据项步骤S4：根据非参数灰度模型，计算数据项E_d(q₁,…,q_T)；假设每张图像中像素之间是相互独立的；从图像I_t中估计形状q_t，表示为logP(I_t|q_t)＝∫_Ωq_tlogP_in(I_t)+(1‑q_t)logP_out(I_t)dx上式q_t表示目标形状，1‑q_t表示背景；概率P_in(I_t(x))表示每个像素点属于目标的概率，P_out(I_t(x))表示每个像素点属于背景的概率；以一维方式表示I_t∈R^m×1和q_t∈R^m×1，m为图像的像素点个数，记那么，通常待分割的目标在不同图像中会呈现不同的姿态，引入循环移位的思想解决分割过程中目标出现的形变；步骤S5：由于目标行为的各个动作之间存在相关性，假设服从玻尔兹曼分布P(q₁,…,q_T)∝exp(‑E_DBM(q₁,…,q_T))，那么E_s(q₁,…,q_T)＝‑logP(q₁,…,q_T)＝E_DBM(q₁,…,q_T)采用目标形状信息作为底层、中层和高层连接的纽带，利用深度玻尔兹曼机学习得到的模型作为高层先验项，合并底层数据项得到总的计算模型步骤S6：以上模型包含四类未知参数，采用交替迭代和近似推理的方法求解，具体求解方程如下：(1)(2)(3)(4)(5)