[发明专利]一种基于视觉注意力模型的关键帧提取方法和系统

摘要

本发明公开了一种基于视觉注意力模型的关键帧提取方法和系统。其提取方法包括在空域上，该方法用二项式系数滤波全局对比度进行显著度检测，并且利用自适应阈值对目标区域进行提取。算法不但能较好地保持显著目标区域边界，而且区域内显著度较均匀。然后，在时域上，该方法定义了运动的显著度，通过单应性矩阵对目标运动进行估计，采用关键点代替目标进行显著度检测，之后融合空域显著度的数据，提出基于能量函数边界扩展的方法获得包围盒作为时域的显著目标区域。最后，该方法通过显著目标区域降低视频的丰富性，采用结合在线聚类的镜头自适应方法进行关键帧提取。

主权项

一种基于视觉注意力模型的关键帧提取方法，用于对视频的关键帧进行提取，其特征在于，包括：在空域上，用二项式系数滤波全局对比度进行显著度检测，并且利用自适应阈值对目标区域进行提取；在时域上，定义运动的显著度，通过单应性矩阵对目标运动进行估计，采用关键点代替目标进行显著度检测，融合空域显著度的数据，提出基于能量函数边界扩展的方法获得包围盒作为时域的显著目标区域；通过显著目标区域降低视频的丰富性，采用结合在线聚类的镜头自适应方法进行关键帧提取；在空域上，通过用二项式系数滤波全局对比度进行显著度检测，并且利用自适应阈值对目标区域进行提取，具体方法如下：(11)二项式系数按照杨辉三角构造，N层的归一化因子为2N；选择第四层，滤波器系数B4＝(1/16)[1 4 6 4 1]；(12)设I为原刺激强度，为周围刺激强度的均值，为I与B4的卷积；将像素点采用CIELAB颜色空间的向量形式衡量刺激的强弱，刺激的对比度即为两CIELAB向量的欧式距离，因此对于像素点(x,y)的刺激度检测为S(x,y)=||IB4(x,y)-I‾||---(1)]]>(13)得到显著度的测量集合Ss＝(s11,s12,…,sNM)后，利用自适应阈值对目标区域进行提取，其中sij为像素点(i,j)的显著度，0≤i≤N,0≤j≤M，M，N分别为图像的宽度和高度；通过以下方法实现自适应阈值对目标区域进行提取：(21)定义像素点(x,y)全局显著度检测计算式Sg(x,y)=1AΣi=0NΣj=0M||IB4(x,y)-I(i,j)||---(2)]]>其中A为检测的面积，为原图像经滤波器B4滤波后像素点(x,y)的刺激强度，I(i,j)为像素点(i,j)的原刺激强度，M，N分别为图像的宽度和高度；(22)通过直方图进行运算加速，将原刺激强度I映射到刺激空间中，最终对于用户感受到的刺激的显著度如下所示S(IB4(I))=1(m-1)D(IB4(I))Σi=1m(D(IB4(I))-||IB4(I)-IB4(Ii)||)Sg(IB4(I))---(3)]]>其中D为刺激在m个最近刺激之间的距离(23)通过改变阈值Ts指定前景和背景区域，然后以获得最小的能量函数的阈值作为最优阈值；以Ts为阈值的能量函数的定义如下：E(I,Ts,λ,σ)=λΣn=1N(f(Ts,Sn)Sn)+V(I,Ts,σ)---(4)]]>其中Sn由公式(2)获得，λ为显著目标能量的权重，N为图像的总像素数，f(Ts,Sn)＝max(0,sign(Sn‑Ts))，V(I,Ts,σ)为对周围刺激的相似度的衡量，选择当前Ts下显著点和其8邻域的像素点组成点对Pair进行计算，dist(p,q)为两点之间的空间距离,σ为控制参数。