[发明专利]基于可判别性二叉树投票的动作识别方法

摘要

基于可判别性二叉树投票的动作识别方法属计算机视觉技术领域，本发明提出一种人动作行为分析和准确定位的方法，主要分为训练部分和检测部分，训练部分将连续动作分解成时空立方块，提取立方块低维特征，在二叉树构建过程中，通过最小化目标类别不确定性和立体块中心偏移不确定性分裂左右结点，使得叶结点中立体块集合纯度最高，当二叉树达到最大深度或者叶结点立体块数低于阈值时，二叉树构建完成；检测部分将检测立体块遍历二叉树集，叶结点为到达的立体块进行投票，在动作空间寻求最大值，确定动作类别和目标中心位置，实验结果证明，在低分辨率、图像特征明显的视频序列中，本发明能准确判断人物的动作类别和人物位置。

主权项

一种基于可判别性二叉树投票的动作识别方法，其特征在于包括下列步骤：1.1构建可判别性二叉树，具体包括下列步骤：1.1.1对训练视频序列进行分类处理，将含有目标的动作类别定义为正样本，对正样本进行标记，不同的动作类别区别标记；将目标区域外的定义为负样本，负样本中只含有背景，负样本统一标记；1.1.2人的动作行为在时间和空间上都含有信息，为了准确描述不同人的动作行为，将训练视频中整套动作在空间和时间上进行分解，其值设置为16x16x5大小的彩色立体块{Pi＝(Ii,ci,di)}，其中：Pi表示三维立体块；Ii表示第i立体块提取的特征值，容纳多通道特征值，表示在第i个立体块中特征通道f∈(1,2,…,F)对应的特征值；ci表示为动作类别标签，标记不同数字的立体块代表不同的动作类别，标记数字0的立体块代表负样本；di表示立体块中心到达时空域动作中心的三维矢量值；16x16和5分别表示训练视频序列的空间信息和时间信息；1.1.3对1.1.2步骤中的立体块进行特征提取和标记，立体块特征包括：灰度强度、位置坐标对时间的导数和位置上的光流值；记录检测序列的立体块类别标记和立体块中心到三维完整动作中心的矢量值；1.1.4设定二叉树的截止条件：根据构建二叉树的规则，指定树的最大深度dMax和叶子含有最小立体块的数量Nmin，当达到树的最大深度dMax或每个叶子集合中的立体块少于最小立体块的数量Nmin时立刻停止；1.1.5从根结点开始构建二叉树，输入步骤1.1.3中提取的立体块三维信息，进行二值测试，通过比较特征通道f中位置p∈R3和q∈R3的特征值大小，其中R3表示三维空间，二值测试定义如下：其中：B表示二值测试方法；τ表示特征阈值，特征阈值通过遍历此特征通道中最小值到最大值，即min If(p)＜τ＜max If(q)，由于给出已知视频序列，min If(p)和max If(q)通过计算求得；If(p)表示在位置中心p时，立体块中特征通道f的特征值，特征值按1.1.3步骤选取，特征通道f为1.1.2步骤所描述；tB,f,p,q,τ(Γ)表示以两个不同位置p和q为中心的立体块在特征通道f中特征值的比较值，当特征通道f中以位置p为中心的立体块特征值小于以位置q为中心的立体块特征值与阈值τ的和时，二值比较值取0，当特征通道f中以位置p为中心的立体块特征值大于或等于以位置q为中心的立体块特征值与阈值τ的和时，二值比较值取1；对所有立体块{Pi＝(Ii,ci,di)}而言，随机选取p、q和τ值，会产生二值测试集合{tk}，其中k表示集合的数量，二值集合{tk}有两类立体块，一类是特征通道f中特征值的比较值为0的立体块集合1，记为另一类是特征通道f中特征值的比较值为1的立体块集合2，记为其中，立体块集合1中含有特征值Ij的比较值为0的立体块集合3，记为和比较值为1的立体块集合4，记为每一类立体块都含有特征通道f中特征值的比较值1和0的立体块集；对二值测试集合中的立体块需要进行最佳分类，构建二叉树的过程中，每个子结点都需要分裂左右子结点，当树构建完成时，不同叶结点中有不同的立体块，这些立体块达到最佳分类，树的子结点具体分裂方法：动作类别不确定性用动作类别信息增益ΔH表示，其数学表达式为：ΔH=-|Il||Il|+|Ir|H(Il)-|Il||Il|+|Ir|H(Ir)---(2)]]>其中：Il和Ir分别表示分配到左右子结点的立体块集合，即为在特征通道f中特征值的比较值为1和0的立体块集合；H(·)为熵值pk表示当前子结点立体块动作类别为k的概率，H(Il)和H(Ir)分别表示左右子结点中立体块动作类别的熵值；计算立体块中心偏移值用ΔD表示，其数学表达式为：ΔD=ΣIl||dil-d‾l||2+ΣIr||dir-d‾r||2---(3)]]>其中：dil和dir分别表示落入左右子结点中第i个立体块矢量积；和分别表示落入左右子结点中立体块矢量积均值；1.1.6在1.1.5步骤中两个测量标准随机选取，当其中一个不确定性达到最小值，子结点达到最优分裂，产生左右子结点，左右子结点各自继续寻求最佳分裂；当达到树的最大深度dMax或者子结点中所含立体块数量小于最小立体块的数量Nmin，即达到1.1.4步骤规定的条件，停止分裂，二叉树构建完成，若没有达到截止条件，继续计算动作类别信息增益ΔH或立体块中心偏移值ΔD；由于特征选取的随机性，将5棵二叉树作为一个二叉树集合；1.1.7在1.1.6步骤构建成的二叉树中，叶结点存储2个信息，一是在训练中到达该叶结点不同动作类别概率值，第L个叶结点存储动作类别c的概率二是立体块中心偏移量的所有集合，第L个叶结点立体块中心矢量积存储的信息将会为检测立体块进行投票；1.1.8根据1.1.7步骤中的叶结点信息，设定动作类别概率的取值范围，叶结点PL值的定义如下：(1)如果0≤PL≤Tc1，Tc1＜0.5，此叶子称为背景叶子，到达背景叶子的立体块判断为背景立体块，背景立体块没有投票信息，只是用来进行判断；(2)如果Tc2≤PL≤1，此叶子称为目标叶子，到达目标叶子的检测立体块判断为目标立体块，目标立体块具有投票信息；(3)如果Tc1≤PL≤Tc2，Tc2＞0.5，此叶子称为不确定叶子，用这类叶子去判断检测立体块是属于动作类别还是背景，到达这类叶子立体块会被余下的N‑1叶子进行分类，通过定义Sw的值进行判断：Sw=ΣiWp+ΣjWu+ΣkWnN-1---(4)]]>其中：Wp为目标叶子比例；Wu为不确定叶子比例；Wn为背景叶子比例；i,j,k分别代表目标叶子、不确定叶子和背景叶子的数目；当Sw大于阈值Ts，把不确定叶子作为目标叶子，根据叶子存储PL的值将叶子结点分为三类，使叶子结点具有判断信息，增加对目标的投票，减少背景噪声的影响，增加定位目标动作类型的准确性，按照实验效果，将Tc1、Tc2和Ts分别设置为0.4、0.6和0.5；1.2对测试视频序列中的目标动作进行定位和分类，具体包括下列步骤：1.2.1准确定位目标动作和位置，将检测序列分成16x16x5大小的立体块，假设在检测立体块中存在中心为y∈R3的立体块P(y)＝(I(y),c(y),d(c(y),y))；其中：I(y)、c(y)和d(c(y),y)分别表示立体块表观特征信息、未确定的动作类型和未确定的动作中心矢量值；假设事件Qc(x)表示，在目标中心x∈R3位置上目标动作类型属于c类事件，则p(Qc(x)|I(y))被分解为：p(Qc(x)|I(y))=Σl∈cp(Qc(x)|c(y)=l,I(y))p(c(y)=l|I(y))=p(Qc(x)|c(y)=c,I(y))p(c(y)=c|I(y))=p(d(c,y)|c(y)=c,I(y))p(c(y)=c|I(y))---(5)]]>其中：P(y)遍历整棵树，p(d(c,y)|c(y)＝c,I(y))表示属于c类动作类型立体块I(y)的矢量积概率分布，可通过核函数构造矢量积的概率密度分布；p(c(y)＝c|I(y))表示立体块I(y)属于动作类别c的概率，可通过计算求解，在(5)中的所有参数都可被测量，假设立体块在树T的叶子L处结束，(5)式可表示为：p(Qc(x)|I(y),T)=(1|DcL|Σd∈DcL12πσ2exp(||(y-x)-d||22σ2))·pcL---(6)]]>其中：x表示已知目标中心的位置值；y表示检测立体块中心的位置值；d表示为立体块中心矢量积的随机变量；σ2表示核函数的方差；表示在树T的叶子L中立体块属于动作类别c类的概率；表示在树T的叶子L中立体块中心偏移矢量值，表示取立体块中心偏移矢量值的绝对值；1.2.2在1.2.1步骤中通过计算式(5)和(6)可得动作空间图像，检测立体块遍历二叉树集合中的所有树，最终停止在一个叶结点中，记录叶结点中的值，叠加所有检测立体块，得到动作空间图像；检测视频中每一像素点对应的立体块遍历二叉树集，检测立体块被分配到叶子中并获得叶子投票信息，投票信息是三维空间信息，提取动作类别和时间信息，得到二维动作空间图，求解动作空间图像最大值，把最大值作为目标中心，确定人的动作类别和人的位置；1.2.3收集1.2.2步骤中得到的不同动作类别信息，评估检测序列动作类别的准确性。