[发明专利]一种基于最佳裁剪的实时视频缩略方法

权利要求书

1.一种基于最佳裁剪的实时视频缩略方法，其特征在于，包括以下步骤：

S1、从视频流中提取当前帧和前一帧，若当前帧为视频的第一帧，则生成一幅与视频相同分辨率的全白图片赋值给前一帧；

S2、判断是否镜头切换

计算当前帧和前一帧的直方图并归一化，而后再计算当前帧和前一帧的归一化直方图的相关系数，若相关系数大于阈值，判断为没有镜头切换，执行S5-S7；若相关系数小于阈值，判断为镜头切换，执行S3-S7；

S3、计算当前帧的显着性图

使用基于谱分析模型的视觉显着性算法计算帧的显着性图，并对显着性图作二值化处理，滤除显着性值低的像素点；

S4、在显着性图上查找最佳裁剪窗口，查找过程分为两个阶段：阶段一和阶段二；

阶段一：面积最大化、显着性值丢失最少地将视频帧裁剪至与目标分辨率相同宽高比，具体如下：

计算显着性图垂直方向的投影，裁剪窗口的高＝视频帧的高，裁剪窗口的宽＝视频帧的高*目标宽/目标高，视频帧的宽＞视频帧的高*目标宽/目标高；

定义一个与上述窗口宽度相同的滑动区间，在得到的投影的序列上遍历，区间内包含投影值之和最大的区间所在位置，就是裁剪窗口的位置；

阶段二：在保证窗口内包含显着性值之和不变的前提下，尝试将裁剪窗口进一步缩小，具体如下：

在阶段一得到的裁剪区域内，计算显着性图垂直方向和水平方向的投影；找到垂直方向和水平方向投影的序列的最小非零区间；由垂直方向和水平方向投影的最小非零区间相交得到的区域称作待选区域；

宽高比与目标宽高比相同，面积最小，但宽和高不小于阶段一宽高的0.9倍，能够完整包含待选区域，最接近中心的窗口，则为最佳裁剪窗口；

最后，记录最佳裁剪窗口，作为当前帧所在镜头的所有帧的裁剪窗口；

S5、缩略当前帧

根据当前镜头的裁剪窗裁剪当前帧，将裁剪后的帧均匀缩放到目标分辨率；

S6、将处理好的帧在视频流中替换；

S7、若存在下一帧，令前一帧等于当前帧，从视频流中提取下一帧作为当前帧，执行S2-S7。

2.根据权利要求1所述的一种基于最佳裁剪的实时视频缩略方法，其特征在于，在步骤S2中，直方图的相关系数定义为：

式中，N是直方图中bin的数目，H_k(I)或H_k(J)表示第k幅直方图中值为I或J的像素个数，这里k＝1,2。

3.根据权利要求1所述的一种基于最佳裁剪的实时视频缩略方法，其特征在于，在步骤S3中，视觉显着性算法的计算步骤如下：

首先，对输入图像I(x)作傅里叶变换，得到I(x)的振幅谱A(f)和它的相位谱P(f)：

A(f)＝re(F[I(x)])

P(f)＝im(F[I(x)])

式中，F[I(x)]表示对I(x)作傅里叶变换，re()表示取实部，im()表示取虚部；然后，求出光谱残留R(f)：

R(f)＝L(f)-h_n(f)*L(f)

式中，h_n(f)是一个n×n均值滤波的卷积核，L(f)＝log(A(f))；

最后，对R(f)进行傅里叶反变换，再进行一个高斯模糊滤波，就得到了显著性区域为：

S(x)＝g(x)*F^-1{exp[R(f)+P(f)]}²

式中，F^-1{}表示作傅里叶反变换，g(x)表示高斯模糊滤波器。