[发明专利]基于变化检测和帧差累积的视频对象分割方法

权利要求书

1.一种基于变化检测和帧差累积的视频对象分割方法，该视频对象分割方法的特征在于：时域分割利用t显著性检验检测帧间变化，不需要根据繁琐的实验数据设定阈值，根据t分布表查找获得最优阈值，不需要知道视频内噪声的方差，因此避免了噪声参数的估计；在帧差累积阶段提出了有效模板和记忆掩膜的概念和两者的使用及其形成方法；空域分割利用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子获得完整精细的连通边缘，该视频对象分割方法的具体步骤如下：

步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割；

步骤二：对原始视频的每一帧采用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割；

步骤三：采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。

2.根据权利要求1中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于：所述步骤一的时域运动变化检测：先对间隔为k的对称帧的灰度图像进行帧差计算，然后通过t显著性检验检测获取初始运动变化区域，再进行时域定区间帧差累积计算，并进一步整合形成记忆模板，具体步骤如下：

(1)、设视频序列灰度化后第n帧为F_n(x,y)，经过高斯滤波平滑过后为G_n(x,y)。

(2)、视频序列内每帧图像噪声记为N_n(x,y)方差记为故可将视频序列中第n帧灰度图像G_n(x,y)表示为：

Gn(x,y)=G‾n(x,y)+Nn(x,y)]]>

其中为视频图像的实际值。根据上式，可得差分图像:

FD(x,y)=G‾n(x,y)-G‾(n-k)(x,y)+Nn(x,y)-N(n-k)(x,y)]]>

设D_(x，y)=N_n(x,y)-N_(n-k)(x,y)，其中N_n(x,y)与N_(n-k)(x,y)是概率密度相同并且相互独立的随机变量，故D_(x，y)仍为加性零均值高斯噪声随机变量，方差为

由于各个像素点的噪声是互相独立的，如果窗内所有不为零的帧差值都是由噪声引起的，这些值的均值μ应该为零，所以根据概率论知识进行假设检验，设位置(x,y)为背景（即零假设H₀）：H₀:μ=0。在噪声方差未知的情况下，采用t显著性检验检测，根据邻域窗内的像素点构造统计测试量t：

t=Ad(n)s/p]]>

其中，A_d(n)和s分别为邻域窗内的样本均值和样本方差。

Ad(n)=1pΣ-nnΣ-nn|FD(x+l,y+m)|]]>

s=1p-1Σ-nnΣ-nn(FD(x+l,y+m)-Ad(n))2]]>

根据显著性测试理论，阈值由给定的显著性水平α和t所服从的分布决定：

|t|≥tα2(p-1)]]>

显著性水平α的选择与具体视频序列中的摄像机噪声强度相关，根据设定的显著性水平α，若成立，则该中心像素点属于m(n)。

初始运动变化区域可表示为：

经过对称帧距变化区域相与操作，可将视频对象运动不明显部分包含在内，得到完整的运动变化区域：

(3)、时域定区间帧差累积计算:对于包含内部纹理具有高度的一致性的视频对象或视频对象在某个时间段静止或运动缓慢，仅使用上述(1)、(2)两步所述变化检测方法不能检测到完整的运动区域，导致在时空滤波时，无法得到精确的运动目标边界轮廓，从而在最终的视频对象提取中造成目标局部缺失。

应用时域定区间帧差累积方法，能够有效解决目标局部缺失问题。时域定区间帧差累积方法利用视频序列各帧间在时间域的相关性及目标运动的连续性，不但综合考虑在某段时间内，各像素出现的次数即在给定时间段内，出现次数频繁的部分作为有效模板出现在整个运动时段内。而且充分考虑了视频对象在一段时间上的运动连贯性，即充分挖掘了一个整体区块上的时间信息。

设给定时间段长度为l，在这段时区中的包含L帧视频图像，分别为M₁,M₂,…,M_l-1,M_l，该区段对应的有效模板EM(effective mask)，与每帧视频图像大小相同：

EM(x,y)=255,T≥τ0,T<τ]]>

其中，T=n_i/L，n_i为点(x,y)在L帧视频图像中被标记为目标运动点的次数，M₁,M₂,…,M_l-1,M_l是经过变化检测得到的运动变化区域掩膜图像M₁(x,y),M₂(x,y),…,M_l-1(x,y),M_l(x,y)，τ为设定的一个比例阈值。根据不同视频序列来选取不同的比例阈值τ。对于运动速度较快，运动幅度较大的视频可以选取较大的值；反之，对于运动速度较慢，运动幅度较小的视频要选择较小的值。

对于任意像素点(x,y)，如果EM(x,y)为0，则不进行帧差累计计算，若EM(x,y)为255，则进行时域定区间帧差累积计算。

进行帧差累积计算后对应时间段内的每帧视频图像的相应点的像素值均为设定为255，即

F₁(x,y)=F₂(x,y)=...F_m(x,y)=255

(4)、经过时域定区间帧差累积计后，虽然效果较初始t分布变化检测得到了很大的改善，但在视频对象内部的仍存在空洞。所以，本文提出了记忆掩膜MT(Memory Template)的概念。即将经过帧差累积计算的掩膜进行形态学处理及填充操作，得到完整的视频对象掩膜则共得到N/L个记忆掩膜。

由于开闭操作会使计算量增大，因此对于轮廓比较光滑的MT，可以不进行形态学处理，只需要进行填充即可。