[发明专利]基于分块和逐帧优化的视频缩放方法

说明书

本发明基于分块和逐帧优化的视频缩放方法，涉及一般的图像数据处理，是将视频序列按照镜头切换分割成N个视频子序列，对视频子序列分别在水平方向上和垂直方向上进行缩放与优化，步骤是：输入视频，根据镜头的切换帧进行镜头分割；对每个视频子序列中视频主体目标进行跟踪，获得相应视频子序列的视频轨迹跟踪框；整帧视频均匀分成x列向子块；合并标注，最终获得一帧视频图像帧f_{j_pt}和一帧影子图像帧g_{j_pt}；基于缩放比例的逐帧优化；按比例分别缩放视频图像帧f_{j_pt}以及影子图像帧g_{j_pt}中的保护区域和非保护区域；基于主体目标位置的逐帧优化。本发明方法克服了现有技术视频缩放中的视频抖动和目标图像与原图像严重不符的缺陷。

技术领域

本发明的技术方案涉及一般的图像数据处理，具体地说是基于分块和逐帧优化的视频缩放方法。

背景技术

随着视频播放设备多样化的发展，视频经常需要改变大小来适应不同规格的显示设备，采用传统视频缩放方法，如最近邻域插值方法、双线性插值方法或双三次插值方法来插值缩放，会导致视频显示设备的显示面积不能被合理利用，有大面积黑边填充在视频两侧。而用户选择全屏播放视频时，又会导致视频边缘部分的信息丢失。基于内容感知的视频缩放技术可以有效解决视频播放设备与视频播放内容的尺寸匹配问题，自动地感知视频图像帧中的信息，缩放后保持用户所关注的视觉主体目标相对不变形。基于内容感知的缩放技术首先由Avidan和Shamir在2007年SIGGRAPH在“Seam carving for content-awareimage resizing”论文中提出，并首先应用于图像缩放领域，其主要思路是把图像缩放过程分为像素重要度的计算和增删裁剪线两部分，使图像的插入和删除出现在不重要的区域，称之为“线裁剪”。Rubinstein等人于2008年在“Improved seam carving for videoretargeting”一文中首次将线裁剪算法应用到了视频缩放当中。这种方法将二维平面中的裁剪线替换成了三维中的裁剪曲面，其存在的问题是：当不同视频图像帧之间运动主体目标的运动幅度较大时，不容易避开视频主体目标，导致信息丢失和视频抖动。

针对上述方法的缺陷，现有技术的改进方法大致分为两类：将运动信息添加到重要度图当中，以及将其他种类的图像缩放方法应用到视频领域。文献“Coarse-to-finetemporal optimization for video retargeting based on seam carving”利用前一帧的信息优化当前帧的能量图，能够约束当前帧裁剪线的生成位置，但没有从根本解决裁剪线生成过程中的随机性问题，由于视觉暂留的存在，在复杂纹理背景下前后帧之间裁剪线的微小差异都可能导致背景区域出现闪烁和视频抖动。文献“Low complexity content-aware video retargeting”在考虑帧内信息和帧间运动信息的同时，使用统一缩放算法进行缩放，但是仍存在不能很好地解决预防和消除由于帧间信息的差异度而导致的视频抖动的缺陷。CN104517262A公开了基于DCT域视觉显著性检测的自适应图像缩放方法，该方法存在对图像中较长的倾斜直线特征还不能够很好地保护而且融合过多的特征会增加算法的时间复杂度的缺陷。CN104166992A公开了基于网格变形的内容感知双目图像缩放方法，该方法没有考虑翻转、旋转的约束，缩放过程中可能会导致视频图像主体目标与原图像严重不符的缺陷。CN104822088A公开了视频图像缩放方法和装置，该方法本质上属于传统缩放技术，存在利用交互功能才能播放指定视频区域，缩放后会像传统裁剪算法一样丢失部分视频内容的缺陷。CN102831576B公开了一种视频图像缩放方法及系统，该方法存在缩放过程中不能很好地保护视频主体部分以及缩放过程容易发生抖动等缺陷。CN101976558B公开了一种视频图像缩放方法及装置，该方法没有考虑到缩放后帧与帧之间的时间相关性，导致视频图像缩放后容易出现频闪抖动的现象。

发明内容