[发明专利]基于方向性共同发生特征的人体行为分类识别方法及系统

摘要

本发明涉及一种基于方向性共同发生特征的人体行为分类识别方法及系统。该方法包括在视频序列中检测人体目标并提取时空兴趣点；提取HOG和HOF特征，对时空兴趣点聚类；统计具有不同类别标签的时空兴趣点对出现在相同帧时的方向信息；统计方向性时空点对特征直方图，得到针对输入视频的特征描述；将该词袋模型中的直方图特征换成方向性时空点对特征直方图，针对不同类别行为进行训练，得到对应的特征描述；提取得到输入的测试视频的特征描述，与不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。本发明通过描述局部特征点对之间的方向信息有效提升了人体行为分类和识别的准确率和鲁棒性。

主权项

一种基于方向性共同发生特征的人体行为分类识别方法，其步骤包括：1)在视频序列中检测人体目标；2)对包含人体目标的时空域提取时空兴趣点；3)提取时空兴趣点的HOG和HOF特征，并将时空兴趣点聚类成若干类别；4)对于具有不同类别标签的时空兴趣点对，统计其出现在相同帧时的方向信息；5)利用所述方向信息统计方向性时空点对特征直方图，得到针对输入视频的特征描述；提取所述方向性时空点对特征直方图的方法是：a)对具有不同类别标签的共发生点对，由公式(1)计算得到方向性点对特征，并由公式(2)计算得到阈值T；b)由公式(3)得到整个输入视频中方向性共同发生特征的统计量N；c)由公式(4)和(5)得到基于统计量N的概率分布P；d)由公式(6)得到最终特征描述H，H由P级联组成；其中公式(1)～(6)如下所示：T=Σi=1KΣj=1KΣ∀pti∈Si,∀ptj∈Sj|xpti-xptj|Σi=1KΣj=1KΣ∀pti∈Si,∀ptj∈Sj1---(2)]]>N(i,j)=Σ∀pti∈Si,∀ptj∈Sjn(pti,ptj)---(3)]]>P(DPFist|DPFs)=Σj=1KN(i,j)Σj=1K{N(i)·N(j)}---(4)]]>P(DPFien|DPFs)=Σj=1KN(j,i)Σj=1K{N(i)·N(j)}---(5)]]>H={{P(DPFist|DPFs)}i=1K,{P(DPFien|DPFs)}i=1K}---(6)]]>其中，Si代表标签为i的所有时空兴趣点的集合，Sj代表标签为j的所有时空兴趣点的集合；代表标签为i的时空兴趣点，且分别代表该点的横纵坐标和所在的帧数；T为阈值，表征空间点对的平均距离；K为聚类个数；N(i)和N(j)分别代表类别为i和j的时空兴趣点个数；n(pti,ptj)代表由类别i指向类别j的共同发生特征个数；N(i,j)代表方向性共同发生特征的统计量；P(DPFist|DPFs)代表方向性共同发生特征中以标签i作为起点的概率；P(DPFien|DPFs)代表方向性共同发生特征中以标签i作为终点的概率；H为最终表达视频中人体行为的特征向量；6)利用词袋模型将局部特征的个数直方图分布作为整体的特征表达，将该词袋模型中的直方图特征换成由步骤1)～5)得到的方向性时空点对特征直方图，针对不同类别行为进行训练，得到不同行为类别对应的特征描述；7)当输入测试视频时，根据步骤1)～5)提取得到该视频的特征描述，然后与步骤6)得到的不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。