[发明专利]一种视频中的人物动作检测方法

说明书

技术领域

本发明属于基于内容的视频检测方法，是通过对视频内容的人物动作进行提取与高效索引，使其对于一般意义的视角变换，持续时间变换具有较强的鲁棒性，从而实现基于动作的视频索引与检索的方法。

背景技术

互联网上多媒体信息的大规模涌现，使得多媒体信息的整理、索引、检索技术为大家所关注。但是，目前多媒体检索主要采用关键字匹配(如Google，Baidu的视频检索引擎)来进行检索。基于关键字匹配的方法没有对视频内容进行理解，是基于网页制作者或视频的拍摄、制作者对该视频的理解来进行定义和分类的。

近年来，基于内容的多媒体信息检索技术逐渐发展起来，通过对多媒体素材的内容进行分析，抽取其底层特征(如颜色特征，纹理特征等)，并以此作为新的匹配准则进行检索。虽然利用底层特征匹配的方法可以在一定程度上反映两组多媒体信息在内容上的相似性，但客观存在的语义鸿沟依然是该技术尚未攻克的难题。对多媒体内容，特别是图像和视频的中层语义进行提取被认为是填补语义鸿沟的一种重要途径，这在体育视频分析问题上已经得到了验证。动作信息，在视频素材中，是一种非常重要的语义信息，特别是在一些影视剧视频中，故事的展开往往会在特定的动作上得以呈现，也是用户浏览和检索的热点。如果能按照动作信息对视频素材进行索引，将非常有利于用户浏览和检索其感兴趣的视频片断。

发明内容

本发明为解决现有的多媒体信息检索方法不能够检测视频素材中的动作信息的问题，提供一种视频中的人物动作检测方法。本发明包括以下步骤：

步骤一、通过基于Graph Partition Model的镜头边界检测方法对视频的镜头进行分割；

步骤二、对于连续的视频帧，通过在各帧显著图的基础上建立动态显著模型的方法得到时空显著图；

步骤三、通过公式

AShift=1CenterDis(i,j)>TC and DiameterVar<TD0CenterDis(i,j)<TC or DiameterVar>TD]]>

计算得到时空显著图的注意力转移变量A_shift：

其中CenterDis()表示相邻各帧注意力焦点的中心之间的距离，DiameterVar()表示相邻各帧注意力焦点的外接圆的半径变化；

步骤四、设置一个阈值并将超过阈值的注意力转移值A_shift分离出来；

步骤五、在同一个动作内，对分离出的注意力转移值A_shift进行各帧叠加的3D序列切片，建立动作检测模型。

有益效果：可以将大量的视频素材按照其包含的人物动作语义信息进行索引，方便用户对视频进行快速的浏览与检索，观看自己感兴趣的内容。一方面，本发明提供了一种基于显著性跳转的模型进行视频动作的切分；另一方面，本发明提出了一种可通过分析镜头内部的物理关联关系，有效提取出了视频素材中的地点语义信息；再有，本发明提供一种新颖的相似度计算模型，使得动作相似性计算对于视角变化，尺度变化，表观渐变，和持续时间变化不敏感；最后，本发明提出了一种分层局部特征聚类索引结构上，本发明采用进行3D视觉词汇的索引，从而在实时检索中达到较高的准确度。