[发明专利]利用自适应滤波的数字图像稳定化方法

说明书

相关申请的交叉引用

本申请要求2010年12月23日向美国专利与商标局提交的两件美国临时申请No.61/426,970和No.61/426,975的优先权。在这里通过引用并入这两件临时申请的公开内容。

技术领域

本发明构思涉及数字图像稳定化(Digital Image Stabilization，DIS)，并且更具体地涉及一种降低所捕获的视频帧中补偿窗口的过偏移(over-excursion)的方法。

背景技术

在操作人员的手中操作数字相机、数字摄像机、以及具有这样的相机或摄像机的手持设备的同时，经常采用该相机或摄像机来捕获图像或视频。因此，在捕获图像或视频的同时，摄像机可能在操作员手中晃动或抖动。抖动可能由于手晃动或平台振动，并且可能包括水平分量、垂直分量、缩放分量和旋转分量。抖动可能使得手捕获的视频对于观看者而言是嘈杂的或混乱的，因此希望使用数字电路来数字地估计相机轨迹(即，当在每对连续帧之间检测时的抖动)并且从相同场景的视频帧序列中滤除抖动。

由稳定的(固定的或移动的)摄像机产生的视频主要包含所捕获的视频中的平滑运动(平移、旋转)。另一方面，不稳定的摄像机产生在视频图像中具有高频抖动(平移和/或旋转)的视频。由稳定的(固定的或移动的)摄像机产生的视频主要包含所捕获的视频中的平滑运动。另一方面，不稳定的摄像机产生在视频图像中具有高频抖动(平移和/或旋转)的视频。

数字图像稳定化(DIS)系统首先估计不希望(不想要)的运动，并且然后对图像序列施加校正。对于任何视频稳定化算法而言，正确的全局运动估计(相机轨迹估计)是关键的。稳定化视频的视觉效果高度依赖于相机轨迹估计的质量。对相机/场景的全局运动进行分析，以便区分想要的(例如，摇摄)和不想要的(抖动)全局运动，并且生成补偿变换P(n)以便补偿不想要的抖动运动。视频稳定化算法减轻抖动运动，同时保持用户想要的相机运动。通常，抖动是由手晃动和平台振动引起的，所述手晃动和平台振动将是更快的(即，更高频)和非线性的，而相机运动将是更慢的并且是线性的或单调的。全局运动(相机轨迹)向量被包括在补偿变换P(n)的仿射变换参数中，所述补偿变换P(n)的仿射变换参数是使用匹配的特定点对在相邻帧之间估计的。

补偿变换P(n)可以是仿射变换。在数学上，仿射几何是对于通过仿射变换(即，非奇异线性变换和平移)保持不变换的几何属性的研究。已经开发了由数字系数(被称为仿射矩阵)定义的数学方程组，以便特征化在每对连续帧或其部分(例如，帧中的运动对象)之间检测到的横向的(上/下)、旋转的和缩放的(例如，放大或缩小)运动。因此，用于补偿相机抖动的补偿变换P(n)可以被特征化为与场景中任何实际上固定的对象(例如，石头、桌子、停放的车辆、山或太阳)相关的第一仿射变换矩阵。在几乎所有情况下，手晃动和平台振动可能导致视频帧的平移、旋转和缩放。为了对这些进行建模，需要六参数仿射变换。

即使正确地生成了补偿变换P(n)以便补偿不想要的抖动运动，作为结果的补偿帧相对于所捕获的输入视频帧仍可能具有显著振荡移动，并且可能延伸超出了在所捕获的输入视频帧中的一些视频帧中可用的图像数据。这导致补偿窗口的过偏移。

为了移除视频中的急跳式运动，补偿单元裁剪每个输入视频帧的一些边界区域。所移除的边界区域的量可以被量化为裁剪率。大的裁剪率意味着边界处的更多区域被移除。可以将输出视频帧建模为叠加在输入视频帧上的补偿窗口(参见例如图1)。补偿窗口可以相对于输入视频帧被旋转、偏移、缩放等。

对于给定裁剪率，补偿窗口的移动量被称为补偿窗口偏移。补偿窗口超出输入视频帧边界的移动被称为补偿窗口过偏移。

如果没有抖动(无不想要的相机轨迹)，则(基于实际上固定的对象的特征点的)补偿变换P(n)将被期望在两个或多个连续帧的每个帧中处于相同位置(例如，一致(UNITY))。如果存在高频抖动，则期望产生具有降低程度或降低频率的补偿窗口过偏移的空间上稳定化的视频。

因此，需要一种滤波方法，其自适应地在不足视频稳定化和过偏移之间进行平衡。

发明内容

本发明构思的一方面提供了一种数字图像稳定化方法，包括：基于补偿窗口过偏移的历史，自适应地对表示视频帧的场景中的固定/背景对象的基本/补偿变换P(n)滤波。