[发明专利]基于分块和逐帧优化的视频缩放方法

权利要求书

1.基于分块和逐帧优化的视频缩放方法，其特征在于：是将视频序列按照镜头切换分割成N个视频子序列，对视频子序列分别在水平方向上和垂直方向上进行缩放与优化，具体步骤如下：

第一步，输入视频，根据镜头的切换帧进行镜头分割：

输入由N个镜头组成的视频，在对这些视频进行缩放之前通过计算帧与帧之间的直方图信息得出视频帧直方图，借助该得出的视频帧直方图识别出N-1个镜头的切换帧，根据镜头的切换帧将视频按镜头分割成N个视频子序列F，将该N个视频子序列F分别进行缩放操作，缩放后再将N个视频拼接成一个整体视频；

A.对视频子序列的水平方向缩放和优化：

第二步，对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的影子轨迹跟踪框：

对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪定位，使缩放前后视频相邻两帧之间视频主体目标的位移具有一致性，防止视频主体目标出现大幅度的抖动，具体操作如下：

首先，提取上述第一步中经过切换帧分割出的视频子序列F中的视频子序列第一帧视频图像帧f₁，在视频子序列第一帧视频图像帧f₁中手动选取视频主体目标的最大外接矩形框作为初始的跟踪轨迹框，然后，利用公知的Struck跟踪算法进行逐帧跟踪，获取包含n帧图像的视频子序列F中的每一帧视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离集合d＝(d₁,d₂,…,d_j,…,d_n)，其中d_j代表视频子序列第j帧视频图像帧f_j中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，j＝1,…,n，这里n是当前视频子序列的帧数，进一步制作一个背景为纯白色的影子视频序列G，影子视频序列G与视频子序列F的帧数以及每帧的尺寸大小一样，在对上述第一步得到的每个视频子序列F中的视频主体目标进行跟踪的同时，在G中生成与该视频主体目标跟踪轨迹框的大小和位置相同的影子轨迹跟踪框，缩放原视频序列的同时以相同的标准对原视频的影子序列进行缩放，由此获得相应视频子序列的影子轨迹跟踪框；

第三步，整帧视频均匀分成x列向子块：

对上述第一步得到的每个视频子序列F进行逐帧按列均匀分块，具体方法是：利用流形排序方法提取上述第一步得到的每个视频子序列F中的视频子序列第j帧视频图像帧f_j对应的显著图f_{j_s}，j＝1,…,n，然后对显著度图f_{j_s}进行二值化处理获得二值化显著图f_{j_b}，分别对视频子序列第j帧视频图像帧f_j、二值化显著图f_{j_b}和相应的影子序列第j帧g_j进行按列均匀分块，完成整帧视频均匀分成x列向子块；

第四步，合并标注，最终获得一帧视频图像帧f_{j_pt}和一帧影子图像帧g_{j_pt}：

对上述第三步中分块后的二值化显著图f_{j_b}的各个列向子块，计算每个视频子序列F中的第j帧视频图像帧f_j中的每一块的平均显著能量，二值化显著图f_{j_b}中的第k个子块的平均能量表示为：

其中k＝1,…,x,为第k个子块中像素点位置(u,v)处的像素值，w和h分别是每个子块的宽度和高度，

每个视频子序列F中的视频子序列第j帧视频图像帧f_j中所有子块的平均显著能量集合表示为：

对每个视频子序列F中的视频子序列第j帧视频图像帧f_j中所有子块的平均显著能量进行排序，显著能量最高的块是每个视频子序列F中的视频子序列第j帧视频图像帧f_j中最显著的块，并标注该块为保护区域，以保护区域为中心，选取保护区域两边的子块比较其平均显著能量，并选取能量大的块与保护区域合并标注为新的保护区域，重复以上操作直至两边的子块的平均显著能量都小于合并标注阈值，由此将视频图像帧中视频主体的边界标注到保护区域，未标注的子块为非保护区域，合并标注后最终获得一帧由一个面积较大的标注保护区域和y个面积较小的标注非保护区域组成的一帧视频图像帧f_{j_pt}，同时对原视频相应的影子序列第j帧g_j也进行相同的操作获得一帧影子图像帧g_{j_pt}；

第五步，基于缩放比例的逐帧优化：

根据上述第四步中视频子序列第j帧视频图像帧f_j中第k个子块的平均能量和平均显著能量集合E_j计算其相应的缩放比例

视频子序列第j帧视频图像帧f_j中所有子块的缩放比例集合为并以此方法获得视频序列n帧中所有子块的缩放比例r＝(r₁,r₂,…,r_j,…,r_n)，对上述第四步视频子序列F中的第1帧视频图像帧f_{1_pt}中标注为保护区域的子块，保护区域的缩放比为这些子块缩放比之和，即rp₁，从视频子序列F中的第2帧开始，到视频子序列F中的第n-1帧结束，扫描每一帧以及其前后帧中保护区域的缩放比以及视频图像帧保护区域的面积，当视频子序列F中的视频子序列第j帧视频图像帧f_j的保护区域的面积与前后帧的相同，即视频子序列F中的第j帧视频图像帧f_j的保护区域所占的子块数与前后帧相同，那么对视频子序列F中的第j帧视频图像帧f_j的保护区域缩放比rp_j进行均值滤波优化，优化公式如下：

由此完成基于缩放比例的逐帧优化；

第六步，按比例分别缩放视频图像帧f_{j_pt}以及影子图像帧g_{j_pt}中的保护区域和非保护区域：

对于上述第四步中标注出保护区域和非保护区域后的视频图像帧f_{j_pt}以及影子图像帧g_{j_pt}按比例分别缩放，其中，对视频图像帧f_{j_pt}的保护区域按rp_j这个变量进行缩放，视频图像帧f_{j_pt}的保护区域目标宽度为desire_w_p_j＝(orig_w-desire_w)×rp_j，其中orig_w和desire_w为视频图像帧的原始宽度和目标宽度，对视频图像帧f_{j_pt}的非保护区域按照上述第五步中公式(3)进行缩放，对视频图像帧f_{j_pt}中的所有块缩放后再将视频图像帧f_{j_pt}中的非保护区域合并，即将保护区域两侧的非保护区域直接合并获得仅由两个非保护区域和一个保护区域组成的视频图像帧记作f_{j_re}，用于逐帧优化过程中的尺寸调整，对影子图像帧g_{j_pt}缩放后，将影子图像帧g_{j_pt}的保护区域和非保护区域合并成一个整体记作g_{j_re}，用于逐帧优化过程中的定位操作；

第七步，基于主体目标位置的逐帧优化：

上述第一步得到的每个视频子序列F中的帧数为n的视频子序列共需进行n-2次优化，每一次优化一共有六个视频图像帧参与运算，将该六个视频图像帧分为三组，分别是上述第六步得到的视频图像帧f_{j_re}以及其前一帧f_{j-1_re}、视频子序列F中的视频子序列第j帧视频图像帧f_j以及其前一帧f_j-1、和视频图像帧f_{j_re}的影子视频序列中第j帧g_{j_re}以及其前一帧g_{j-1_re}，每一次的优化过程如下：

从左往右从上往下逐像素扫描获取影子视频序列中第j帧g_{j_re}以及其前一帧g_{j-1_re}中第一个像素值为0的像素点的横坐标，即视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离，分别为d_{j_re}个像素、d_{j-1_re}个像素，直接读取上述第二步中跟踪轨迹框随着视频主体目标运动时的坐标获得视频子序列F中的视频子序列第j帧视频图像帧f_j与其前一帧f_j-1中视频主体目标跟踪轨迹框的左边框到视频边界左边框的距离d_j像素、d_j-1像素，则视频图像帧f_{j_re}中视频主体目标左边界到视频边界左边框的距离为：

其中为校正因子，接着根据d_{j_opt}对视频图像帧f_{j_re}进行优化，视频图像帧f_{j_re}中从左至右的第一个非保护区域的尺寸需要增加d_{j_opt}-d_{j_re}个像素，而视频图像帧f_{j_re}中从左至右的第二个非保护区域的尺寸需要减少d_{j_opt}-d_{j_re}个像素，保护区域的尺寸不变，最后将两个非保护区域和一个保护区域合并为一个整体作为当前帧水平缩放后的最终结果，依此方法从第2帧对视频进行优化，直至倒数第2帧；

至此完成视频子序列在水平方向上的缩放与优化；

B.对视频子序列的垂直方向缩放和优化：

对完成上述A.对视频序列的水平方向缩放和优化后的视频子序列视频数据进行转置，重复上述第二步到第七步的操作，进行并完成视频子序列在垂直方向上的缩放与优化；

至此，完成对视频子序列分别在水平方向上和垂直方向上的缩放与优化。