[发明专利]实时电子稳像中基于运动状态识别的运动补偿方法

摘要

一种实时电子稳像中基于运动状态识别的运动补偿方法，其方法步骤为：①训练运动类型的似然函数；②建立运动补偿模型；③计算当前帧图像相对于窗口中心点的偏移量；④对运动分量滤波，计算理想运动参数和线性拟和参数；⑤识别当前帧图像运动状态，设置运动补偿参数；⑥根据三阶段运动补偿量，计算当前帧图像的输出位置。该方法将运动补偿分为抖动补偿、平稳运动补偿和偏离补偿三部分，将摄像机运动分为凝视拍摄和扫描拍摄两种类型，通过识别场景的当前运动状态，自适应调整三部分运动补偿参数的比例，从而解决运动补偿过程中的“过平滑”与“欠平滑”问题。有效解决多种复杂运动状态和拍摄方式自由转换时的稳像问题，达到实时输出稳定视频的目的。

主权项

1.一种实时电子稳像中基于运动状态识别的运动补偿方法，其特征在于：其具体步骤如下：步骤1.运动类型的似然函数训练为了对拍摄场景的运动状态和类型进行识别，在稳像前需要对运动类型的似然函数进行训练；在下述步骤5中，采用最大后验概率方法对运动状态进行估计，每种状态的似然函数必须通过样本训练，具体实现过程如下：(1)、采集训练的视频样本针对其应用背景，如车载、机载、手持设备，采集所需训练样本，对该应用背景分别采集扫描和凝视两种拍摄类型的视频样本，视频样本为仅存在一种运动类型的视频片断；(2)、帧间运动估计与拍摄状态标记采用基于极性布局特征描述子的实时运动估计方法对训练样本进行帧间运动估计，并记录每一帧的帧间运动估计参数；帧间运动参数包括垂直运动、水平运动和旋转运动，具体步骤为：①、构造高斯尺度空间，提取特征点；②、构建极性布局特征描述子；③、局部特征点匹配；④、计算帧间运动模型，求出帧间运动估计参数；(3)、计算线性拟和参数设第i组训练样本由m帧组成，设运动轨迹与帧序号呈线性关系，即通过下式表示：用最小二乘解上述方程，得到拟和参数α_i和b_i，其中y_i是由运动估计得到的帧间运动参数；(4)、计算似然函数参数按照下述步骤5中的定义，在稳像前需要分别计算每个类别ω_c的两个似然函数p(a|ω_c)和p(b|ω_c)的参数，即：p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)其中，似然函数采用高斯函数和对数高斯函数，其参数是均值μ和方差σ²；步骤2.建立运动补偿模型定义视频场景的运动模型，其中x_n是当前帧图像相对于输出窗口的绝对位置参数；x_n-1是上一帧相当于输出窗口的绝对位置参数；err(n)是需要进行补偿的运动部分；两帧之间的位置关系如下：x_n＝x_n-1+err(n)定义运动补偿模型为：err(n)＝α·wrap(n)+β·motion(n)+γ·departure(n)其中wrap(n)是帧间运动所引起的抖动分量，对应于随机抖动所引起的退化，具体数值由运动估计中的图像配准方法计算得出；wrap(n)是稳像系统中必须去除的运动成分；motion(n)是由摄像机载体引起的理想运动，通过分析帧间配准参数就能得到摄像机运动的方向和运动速度，可以对摄像机的运动进行补偿；departure(n)为偏离补偿部分，该部分使输出图像始终保持在窗口中心位置，能够及时纠正缓慢的图像飘移；在凝视状态下，由于拍摄的不稳定性以及算法的积累误差，存在视点缓慢偏离输出窗口的飘移现象，使视频中大量数据丢失而无法及时得到纠正，而利用该补偿部分则可以很好解决这一问题；α，β，γ为针对各种补偿的权重，用于衡量每一项对总体运动补偿err(n)的影响比例；步骤3.计算当前帧图像输出位置相对于窗口中心点的偏移量输出窗口与输出图像位置的距离代表了偏移的程度，为保证图像参数的运动曲线保持平滑，所有图像帧都必须进行偏差纠正，将departure(n)定义为输出视频与输出窗口偏差的绝对值，偏差纠正的权重由参数γ决定：γ=1threshold-abs(departure)0≤γ≤1]]>式中threshold定义了边界阈值，即偏离限制在threshold范围内，且threshold>abs(departure)×2，threshold的取值与图像的大小有关；步骤4.对运动分量滤波，计算理想运动参数和线性拟和参数定义为帧间变换矩阵，若t为当前帧要平滑图像的帧号，定义它的相邻帧集合为N＝{j：t-k≤j≤t+k}，相邻帧与当前帧图像的变换矩阵为，则当前帧图像平滑后的变换矩阵motion(n)表示为：Motion(n)=Σi∈NTti*G(k)]]>这里G(k)=12πδe-k2/2δ2]]>是高斯核函数，motion(n)是去除了高频抖动的理想运动轨迹，反映的是摄像机载体的理想运动；步骤5.识别当前帧图像的运动状态，设置运动补偿参数抖动补偿系数α和理想运动补偿系数β通过识别的方法确定，不同的运动形式如静止、匀速运动和变速运动决定了不同的补偿系数，用户所提供的训练样本是在应用背景下拍摄含有抖动而不包含拍摄场景运动的视频图像序列，用以计算抖动的统计特征；本发明利用相邻帧运动估计参数来拟合线性函数，将线性函数的参数作为样本，函数参数不但体现了运动状态，也体现了运动变化的趋势；对于第i组样本，样本由m帧帧间运动估计参数拟合线性函数得到，它们与时间的线性关系如公式：用最小二乘法解上述方程，得到参数斜率α_i和截距b_i；a_i体现了运动趋势，b_i是运动幅度；由最大后验概率(MAP)推导出：C=argmaxc=1,2,3p(ωc|a,b)=argmaxc=1,2,3p(a,b|ωc)p(ωc)]]>其中C是类别；由于运动的趋势a和幅度b是相互独立的，则有：C=argmaxc=1,2,3p(ωc|a,b)]]>=argmaxc=1,2,3p(a,b|ωc|)p(ωc)]]>=argmaxc=1,2,3p(a|ωc)p(b|ωc)p(ωc)]]>若抖动是均值为0的高斯噪声，则固定拍摄状态的似然函数定义为：p(a|ω_c＝′凝视′)＝N(0，σ_stable，a)p(b|ω_c＝′凝视′)＝N(0，σ_stable，b)稳像系统所满足的应用背景与摄像机载体和摄像机自身配置有关，对于匀速运动拍摄，其载体速度有限，载体的运动速度不可能无限大，速度越大的运动发生概率也就越小；较大的运动速度会造成运动模糊，无法用于稳像；因此，不同载体的运动速度通常集中在一定范围内，因此采用混合对数正态分布表示运动幅度的似然函数，μ是平均运动速度；p(a|ω_c＝′扫描′)＝N(0，σ_stable，a)根据运动状态设置运动补偿系数和抖动补偿系数，ω_c＝′凝视′时只需要补偿抖动，即α＝1，β＝0；在扫描拍摄状态下时，除了需要补偿抖动外，还需要对运动进行补偿，则α＝1，β＝1；步骤6.根据三阶段运动补偿量，计算当前帧图像输出的位置通过计算得到运动补偿函数的各个参数后，按照下面公式计算出当前帧的输出位置：x_n＝x_n-1+err(n)其中x_n是当前帧相对于输出窗口的绝对位置参数；x_n-1是上一帧相当于输出窗口的绝对运动参数；err(n)是两帧图像之间的运动补偿函数；当前帧图像输出的位置就是运动参数x_n的输出值。