[发明专利]一种基于几何插值的高效视频稳定方法

说明书

本发明涉及一种基于几何插值的高效视频稳定方法，属于视频处理技术领域；包括以下步骤：根据帧间匹配代价计算出一条最优平滑路径；以最优平滑路径上的帧为界，将视频划分为若干个分段，并对每个分段利用特征点检测和匹配进行运动估计；以每个分段的起始帧和终止帧为基准，通过对几何量进行线性插值方法计算出其余帧的运动补偿；通过运动补偿变换对抖动帧进行图像变换后生成稳定的视频。与已有方法相比，本发明方法使用帧间仿射变换来描述相机运动，通过对几何量进行线性插值求得抖动帧的平移补偿和旋转补偿，生成的稳定图像不会产生明显的扭曲现象，且计算效率快，鲁棒性高。

技术领域

本发明涉及一种视频稳定方法，具体涉及一种基于几何插值的高效视频稳定方法，属于视频处理技术领域。

背景技术

视频拍摄成在媒体娱乐、城市安防等方面有着重要的应用。但是，由于视频拍摄时硬件环境和拍摄人员水平的限制，运动环境下拍摄的视频往往存在画面抖动等问题，影响对视频的进一步处理。

对于视频稳定这一具有较高应用价值的问题，国内外的学者已经做了大量的基础研究。常用的视频稳定方法主要包括三类：基于估计和平滑2D相机运动的方法，基于估计和平滑3D相机运动的方法以及结合前两者优点的2.5D方法。基于估计和平滑2D相机运动的方法有MATSUSHITA等人的Full-frame video stabilization with motion inpainting，GRUNDMANN等人的Autodirected video stabilization with robust l1 optimal camerapaths等。通常来说，2D方法的鲁棒性和算法效率都要更好，因为它们只需要估计相邻两帧间的线性变换。但是2D方法无法处理由场景深度变换引起的视差问题。基于估计和平滑3D相机运动的方法有Liu等人的工作Content-preserving warps for 3d videostabilization和Video stabilization with a depth camera等。3D方法原则上可以处理视差问题并生成非常稳定的结果，但是鲁棒性较差，且计算代价十分高昂。结合2D方法和3D方法优点的2.5D方法有Liu等人的Subspace video stabilization以及Goldstein和Fattal的Video stabilization using epipolar geometry。2.5D方法不需要三维重建，大大减少了时间消耗，但方法需要的长特征点轨迹也使得它无法处理一些如相机急速运动、快速场景变换、严重遮挡等情况。

发明内容

本发明的目的是针对视频抖动，为了使用户获得更舒适的视觉感受，提出了一种基于几何插值的高效视频稳定方法。

本发明的思想是根据帧间匹配代价计算出一条最优平滑路径；以最优平滑路径上的帧为界，将视频划分为若干个分段，并对每个分段利用特征点检测和匹配进行运动估计；以每个分段的起始帧和终止帧为基准，通过对几何量进行线性插值来计算出其余帧的运动补偿；通过运动补偿变换对视频帧进行图像变换后生成稳定的视频。

本发明的的目的是通过以下技术方案实现的。

一种基于几何插值的高效视频稳定方法，包括以下步骤：

步骤一、计算最优平滑路径

对于抖动视频，计算一条最优平滑路径，路径上的每一帧都视为稳定帧，无需进行去抖操作，而除此之外的所有帧都视为抖动帧；

步骤二、在步骤一的基础上进行视频分段运动估计

令最优平滑路径上的帧为关键平滑帧，然后以其为界将视频的所有帧在时间尺度上划分为若干个分段。对于每一个视频分段的帧序列表示为F_s，F₁，F₂，…，F_t，F_e，其中F_s和F_e是路径上相邻的关键平滑帧，构造出若干条特征点轨迹，表示如下：