[发明专利]一种由粗到精的视频事件的快速定位方法

权利要求书

1.一种由粗到精的视频事件的快速定位方法，其特征在于，具体包括以下步骤：

(1)感兴趣空时体的粗搜索：通过对真实视频的时间分割得到一组最有可能包含查询事件的视频片断，通过对真实视频的空间分割得到每帧图像的感兴趣区域，将视频片断中每帧图像的感兴趣区域规范化后按时序堆叠起来即构成感兴趣空时体集合，其中对真实视频的时间分割包括空时兴趣点检测、对空时分体进行HOG特征和HOF特征提取、采用卡方距离方法对空时分体进行特征匹配、采用分类算法确定视频片段起止点；对真实视频的空间分割包括利用历史帧和当前帧信息构造时间显著图、根据时间显著图的计算结果确定空间感兴趣区域；

(2)感兴趣空时体集合与查询事件的精匹配：采用空时自相似性算子对查询事件和目标体的局部几何结构分别进行描述，并将所有像素的自相似体转化为向量，然后采用PCA方法提取显著特征并采用余弦相似性进行度量，构造出相关体，然后在相关体上采用全局显著性测试得到显著点，最后根据显著点分布来判断在每个目标体中是否存在与查询样本相似的事件；

(3)查询事件的精确定位：采用区域增长/分裂合并技术和非最大值抑制方法进行后处理，用于控制最佳匹配显著点周围的空时区域定位；最后根据事先记录的每个目标体在真实视频中的空时位置，将目标体映射到真实视频，以Y方向上的尺寸为基准，采用固定大小的矩形边框在真实视频的每帧图像中显示视频事件的精确定位结果。

2.根据权利要求1所述的一种由粗到精的视频事件的快速定位方法，其特征在于，所述步骤(1)中对真实视频的时间分割算法具体步骤如下：

(11-1)空时兴趣点检测：首先在单一的空间和时间尺度上检测空时兴趣点，方法具体如下：首先对空时图像序列f建模：其中，设定空间方差为，时间方差为，则空时可分的高斯核定义为：

g(x,y,t;σl2,τl2)=1(2π)3σl4τl2exp(-(x2+y2)2σl2-t22τl2)]]>

对于给定尺度集合在单一的空间和时间尺度上检测空时兴趣点，取s＝1，计算空时二阶矩，并通过与高斯权重函数的卷积得：

μ=g(·;σi2,τi2)*Lx2LxLyLxLtLxLyLy2LyLtLxLtLyLtLt2]]>

其中一阶导数被定义为：

Lx(·;σl2,τl2)=∂x(g*f)]]>

Ly(·;σl2,τl2)=∂y(g*f)]]>

Lt(·;σl2,τl2)=∂t(g*f)]]>

然后找到μ中相对较大的特征值λ₁、λ₂和λ₃，由此需要计算函数：

H＝det(μ)-k trace³(μ)

 ＝λ₁λ₂λ₃-k(λ₁+λ₂+λ₃)³

然后定义α＝λ₂/λ₁，β＝λ₃/λ₁，将H重新表示为：

H=λ13(αβ-k(1+α+β)3)]]>

其中若要满足H≥0，则k≤αβ/(1+α+β)³，f的空时兴趣点检测等价于寻找H中局部正的空时最大值在空时体中的对应点；

通过以上方法检测出空时兴趣点后，以每个检测得到的空时兴趣点为中心，在时间和空间方向上按照固定大小取得空时分体；

(11-2)空时分体特征提取：对得到的每个空时分体中的每帧图像提取其HOG特征和HOF特征，将提取得到的单帧HOG特征按时序连接起来作为整个空时分体的表观特征，将提取得到的单帧HOF特征按时序接连起来作为整个空时分体的局部运动特征，空时分体的特征由表观和运动特征共同构成；

(11-3)空时分体特征匹配：查询行为样本中第i个空时兴趣点所对应的分体用SV_i表示，输入视频中第j个空时兴趣点所对应的分体用SV_j表示，直方图形式的分体特征用His表示，码矩阵M中的元素M_ij为His(SV_i)和His(SV_j)之间的卡方距离，具体计算公式如下：

Mij=χ2(His(SVi),His(SVj))]]>

=Σb=1B(His(SVi)b-His(SVj)b)2His(SVi)b+His(SVj)b]]>

其中b为每个直方图的仓库索引，计算出码矩阵M中的所有元素后，取一定阈值对码矩阵进行二值化；然后求出该空时分体的码矩阵列向量的和，得到一个向量colsum(M)，若colsum(M)_j＞δ，δ为设定的阈值，则认为输入视频中第j个空时兴趣点所对应的空时分体是显著的；

(11-4)确定视频片段起止点：将显著空时分体的时间位置作为样本数据，记作P＝{P₁，P₂，L P_l}，其中l为显著分体的个数，具体算法如下：首先将P₁作为一类，假设事件之间同一动作点发生的时间间隔至少大于1秒，以30fps的视频序列为考察对象，那么同一类所包含的时间位置样本数据间隔应该在30帧以内，以此假设为根据，若P₂与P₁差值在30帧之内，则初步判断P₂与P₁相近，将P₁和P₂归为一类，通过计算该类内整个样本数据的均值来重新确定这类的中心；若否，则确定P₂为一个新类别，依此类推，直到判断完所有显著空时分体，并得到一系列的类，然后忽略样本数少于查询事件中显著分体个数的30％的孤立类，剩下的每个类则代表真实视频中分割出的时间片断，将每个类内的最小值T_start和最大值T_end取出来，然后设定一个阈值Ex，用于补偿可能产生的分割误差，那么[T_start-Ex，T_end+Ex]区间内的视频片断即为真实视频的时间分割结果。