[发明专利]一种基于改进的卡尔曼滤波的实时数字视频稳像方法

摘要

本发明涉及一种数字视频稳像方法，一种基于改进的卡尔曼滤波的实时数字视频稳像方法，包括以下步骤：步骤1、建立帧间运动模型，步骤2、对图像进行分块，步骤3、改进的菱形快速块匹配，步骤4、基于最小二乘的全局运动估计，步骤5、利用改进的卡尔曼滤波器对图像序列进行补偿，步骤6、对含抖动的图像序列进行补偿；本发明对传统的菱形搜索进行了优化，在达到同样或是较好的估计效果的条件下，能减少块匹配算法的运行时间；在运动补偿方面，也能很好的去除抖动分量、很好地保留追拍分量。

主权项

一种基于改进的卡尔曼滤波的实时数字视频稳像方法，其特征在于包括以下步骤： 步骤1：建立帧间运动模型：选用Similarity运动模型对图像序列的运动进行描述，以反映图像序列帧间的平移、绕光轴旋转和变焦运动，其运动模型为 其中，(x,y)和(x',y')分别表示每个像素点在参考帧和当前帧的坐标，s代表摄像机的变焦系数，θ代表帧间图像的旋转角度，dx、dy分别代表水平和垂直方向的偏移量；对于安防监控或手持成像小幅抖动的情况下，图像序列帧间的偏转角θ很小，认为cosθ≈1，sinθ≈θ；同时，变焦系数s保持不变，设为1，这样，(1)式的简化模型为： 步骤2：对图像进行分块：将图像分成一系列8×8的图像块，图像块应选在具有明显图像特征且不为运动前景目标的区域； 步骤3：改进的菱形快速块匹配：按照绝对平均误差函数(Mean Absolute Difference,MAD)准则进行匹配；选取以当前帧选定子块为中心的8×8个像素点，进行对应上一帧的相同位置和周围8个方向的搜索，使用菱形搜索算法大模板，搜索的单位步长为2，具体包括以下子步骤(a)、(b)及(c)； 步骤(a)：若匹配后，最小位置为9个位置中的中心位置，则执行步骤(c)，否则，最小位置为外围的8个位置，则执行步骤(b)； 步骤(b)：记录当前最小位置的MAD值，记为MAD0，并沿着该最小位置的方向再进行一次匹配，得到新的MAD值，记为MAD1，若MAD1小于MAD0，则循环执行步骤(b)，若MAD1大于或等于MAD0，则跳转到步骤3； 步骤(c)：匹配后，最小位置为9个位置中的中心位置，则以步骤(a)得到的最小MAD值的位置为初始位置，进行对应上一帧的相同位置和周围4个方向的搜索，使用菱形搜索算法小模板，得到当前的最小MAD值即为最佳匹配位置： 步骤4：基于最小二乘的全局运动估计：对式(1)进行整理，得到的矩阵方程： 根据每个8×8的图像块得到的运动矢量及匹配点对，利用随机采样一致性(Random Sample Consensus,RANSAC)剔除错误的匹配点对，并利用保留下来的正确值以及式(4)对参数s,θ,dx,dy进行最小二乘估计；利用最小二乘估计思想估计出的全局运动参数，即得到了当前帧相对于上一帧的全局运动向量，即GMV＝[GMVs,GMVθ,GMVx,GMVy]＝[s,θ,dx,dy]； 步骤5：利用改进的卡尔曼滤波器对图像序列进行补偿，具体包括子步骤(a)、(b)、(c)、(d)、(e)及(f)； 步骤(a)：根据状态空间理论对稳像系统进行建模，系统的状态方程和观测方程分别为： 其中，Φ、Γ和H分别为传递矩阵、输入矩阵和观测矩阵；x(k)、y(k)和u(k)分别为状态向量、观测向量和控制向量，而v(k)和w(k)代表噪声向量；为了简化起见，采用具有两个状态和单观测的线性系统进行建模，其中Φ，Γ和H的取值如下： 步骤(b)：用PGMV表示全局运动矢量GMV的累加量，PGMV(k‑1)表示GMV从第1帧到第k帧的累加值，将PGMV的各个分量分别送入一维的卡尔曼滤波器中进行滤波，则得到： 其中，Ko(k‑1)＝[Kos(k‑1),Koθ(k‑1),Kox(k‑1),Koy(k‑1)]表示四个卡尔曼滤波器在第k‑1时刻的输出，PGMV(k‑1)和Ko(k‑1)两个矢量之间的差表示第k‑1帧的运动补偿矢量，CMV(k‑1)＝[CMVs(k‑1),CMVθ(k‑1),CMVx(k‑1),CMVy(k‑1)]第k‑1帧的抖动运动矢量用JMV(k‑1)＝[JMVs(k‑1),JMVθ(k‑1),JMVx(k‑1),JMVy(k‑1)]表示，其在数值上与第k‑1帧的运动补偿矢量CMV(k‑1)相等； 步骤(c)：根据卡尔曼滤波器理论对状态进行预测； 其中，和是根据k时刻对k+1时刻的估值，而P(k)为协方差矩阵，P(k+1|k)是其根据当前时刻对下一时刻的估值，另外，噪声信号v(k)和w(k)认为是不相关的，R1为噪声信号v(k)的方差；步骤(d)：引入场景识别参数，λ＝[λs,λθ,λx,λy]，来识别当前场景为追拍运动或是抖动运动，λ值由下式确定： 其中，L表示选取一定时间段内JMV的窗长，当某一个参量方向上存在追拍运动时，参数λ在这个方向上的数值大，反之，λ将是一个接近于0的很小值； 步骤(e)：根据λ的值确定第k帧观测噪声方差R(k)的值： 其中f(·)为非线性函数，而且随着λ的增大而递减，这里给出一个参考的非线性函数，参考函数中，参量kp的经验值取100； 当某一个参数方向存在追拍时，由参量确定的R(k)会很小，因而能很好的发挥卡尔曼滤波器的跟踪特性；反之，当前只存在随机抖动，R(k)的值很大，能很好的发挥卡尔曼滤波器的平滑作用； 步骤(f)：利用改进的卡尔曼滤波器和步骤(e)确定的观测噪声方差R(k)， 对状态进行更新： 这里，R(k)为标量而非矢量，这是由于采用系统模型是单观测的，若采用多观测的系统模型，则应用R(k)来表示观测噪声的协方差矩阵； 步骤6：对含抖动的图像序列进行补偿：将运动补偿得到的运动补偿向量的各个参量，CMV＝[s',θ',d'x,d'y]以及原图像的像素位置代入下式，进行补偿： 并将像素赋给新的坐标位置(x',y')，即完成了稳像；如果采取简化后的模型，则应用下式进行补偿： 。