[发明专利]一种分层引导的视频图像目标分割方法

摘要

一种分层引导的视频图像目标分割方法，包括以下步骤：图像帧预处理；获得初始分割标记；获得修补欠分割后的分割标记；获得先验分割标记修正后的分割标记；融合修补欠分割后的分割标记和先验分割标记修正后的分割标记，得到最终的分割标记。本发明解决了现有技术中，在存在目标和背景交互的视频监控环境下，当目标和背景相似时，不能较完整的提取目标的问题。

主权项

1.一种分层引导的视频图像目标分割方法，其特征在于，具体步骤如下：步骤1、图像帧预处理步骤1a、设背景图像为I_b，当前帧图像为I_t，前一帧图像为I_t-1，采用多尺度的形态梯度算子，分别对背景图像I_b、当前帧图像I_t以及前一帧图像I_t-1进行处理，分别得到处理后的背景图像J_b、当前帧图像J_t和前一帧图像J_t-1：Ip(x,y)⊕Bk=max0<i,j<2k+1[Ip(x+i,y+j)+B(i,j)],p=b,t,t-1---(1),]]>Ip(x,y)ΘBk=min0<i,j<2k+1[Ip(x+i,y+j)-B(i,j)],p=b,t,t-1---(2),]]>Jp(x,y)=1nΣk=1n[((Ip(x,y)⊕Bk)-(Ip(x,y)ΘBk))ΘBk-1],p=b,t,t-1---(3),]]>其中，J_p(x，y)为采用多尺度的形态梯度算子处理后的图像在点(x，y)位置上的像素值，I_p(x，y)为采用多尺度的形态梯度算子处理前的原始图像在点(x，y)位置上的像素值，为膨胀操作，Θ为腐蚀操作，B_k(0≤k≤n)为一组正方形的结构元素，B_k的大小为(2k+1)×(2k+1)，B_k中各点的值取为1，n取值为2；步骤1b、由步骤1中得到的背景图像J_b和当前帧图像J_t，求取背景差分图v_t：其中，图像的分辨率为M×N；S的计算方法为：x_n＝λ·x_n(modT)                     (5)，s_n＝x_n/T                             (6)，其中，λ＝5⁵，T＝2³⁵-31，x_n的值在(0，1)区间任意指定，s_n的值赋予S；步骤2、获得初始分割标记z₁步骤2a、由步骤1b的公式(4)得到的背景差分图v_t，计算能量函数：Vxy(m,n)=1,|vt(x,y)-vt(m,n)|<α0,|vt(x,y)-vt(m,n)|>α---(7),]]>其中，v_t(m，n)为背景差分图v_t在像素点(x，y)的3×3邻域点(m，n)的值，V_xy(m，n)为像素点(x，y)的3×3邻域点(m，n)的势能值，α为帧内相似性度量因子，α取值为0.1；步骤2b、计算分割标记zz(x,y)=1,vt(x,y)≠00,vt(x,y)=0,---(8),]]>步骤2c、计算图像RGB三通道的势能函数U_R(z)、U_G(z)和U_B(z)：Up(z)=Σz(x,y)=1Σ(m,n)∈NxyVxy(m,n),p=R,G,B---(9),]]>其中，N_xy为像素点(x，y)的3×3邻域；步骤2d、计算图像的能量值E₁：E1=12σ2Σx=1MΣy=1Nη2(x,y)+λRUR(z)+λGUG(z)+λBUB(z)---(10)]]>其中，η²(x，y)＝(J_t(x，y)-J_t-1(x，y))²，图像的分辨率为M×N，σ为图像信号的方差，σ取值为1，λ_R，λ_G，λ_B为三个色彩分量的势能函数系数；步骤2e、计算初始分割标记z₁：z10=argminzE1---(11),]]>f₁₀＝λ_RU_R(z₁₀)+λ_GU_G(z₁₀)+λ_BU_B(z₁₀)，图像的分辨率为M×N；步骤3、获得修补欠分割后的分割标记z₂₃步骤3a、计算分割标记z₂：E2=12σ2Σx=1MΣy=1Nη2(x,y)+λRUR(z)+λGUG(z)+λBUB(z)+U*(z1)---(13),]]>z20=argminzE2---(14),]]>z₂₀为优化分割标记，代入下式计算修补分割标记z₂：其中，f₂₀＝λ_RU_R(z₂₀)+λ_GU_G(z₂₀)+λ_BU_B(z₂₀)+U*(z₁)，图像的分辨率为M×N，U*(z₁)是根据初始分割标记z₁的二值图像信息计算：U*(z1)=Σz1(x,y)=1Σ(m,n)∈NxyVxy(m,n)---(16),]]>其中，V_xy*(m，n)＝V(x，y，m，n)+δ(x，y，m，n)        (17)，其中，V_xy*(m，n)为像素点(x，y)的3×3邻域点(m，n)的势能值，V(x，y，m，n)为像素点(x，y)的3×3邻域点(m，n)的基准势能值，δ(x，y，m，n)为像素点(x，y)的3×3邻域点(m，n)的运动信息一致性的表征，其两者计算公式如下：V(x,y,m,n)=1,|z1(x,y)-z1(m,n)|<α0,|z1(x,y)-z1(m,n)|>α---(18),]]>δ(x,y,m,n)=1,|z1(x,y)-z1(m,n)|<α1,|z1(x,y)-z1(m,n)|>αand|It(x,y)-It(m,n)|≤β0,|z1(x,y)-z1(m,n)|>αand|It(x,y)-It(m,n)|>β---(19),]]>其中，α＝0.1，β＝0，z₁(m，n)为z₁像素点在(x，y)的3×3邻域点(m，n)的值，z₁(x，y)为z₁像素点在(x，y)的值，I_t(m，n)为I_t像素点在(x，y)的3×3邻域点(m，n)的值，I_t(x，y)为I_t像素点在(x，y)的值；步骤3b、对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值，z₂₁(x，y)为对空洞和非闭合边缘处理的分割标记：其中，z₂₁(x，y，m，n)为z₂₁(x，y)在3×3邻域像素点(m，n)的值；步骤3c、对所有的连通域进行贴标签处理，area_i为第i个连通域的面积。所监控目标的最小可能面积为Th_O，将小于阈值Th_O的连通域视为杂点进行去除，去除杂点的分割标记为z₂₂(x，y)：z22=(x,y){z21(x.y)|z21(x.y)⊆areai},ifareai≥Tho0,ifareai<Tho---(21);]]>步骤3d、边缘不平滑处理，获得修补欠分割后的分割标记z₂₃：B*=001111100011111110111111111111111111111111111111111111111111111011111110001111100---(22),]]>z23={x,y|B*xy⊆z22}---(23);]]>步骤4、获得先验分割标记修正后的分割标记z₃₃步骤4a、计算修正分割标记z₃：E3=12σ2Σx=1MΣy=1Nη2(x,y)+λRUR(z)+λGUG(z)+λBUB(z)+U**(zt-1)---(24),]]>z30=argminzE3---(25),]]>其中，f₃₀＝λ_RU_R(z₃₀)+λ_GU_G(z₃₀)+λ_BU_B(z₃₀)+U**(z_t-1)，图像的分辨率为M×N，t表示当前帧的序号，z_t-1为上一帧的最终分割标记；U**(z_t-1)是根据初始分割标记z_t-1的二值图像信息计算：U**(zt-1)=Σzt-1(x,y)=1Σ(m,n)∈NxyVxy**(m,n)---(27),]]>其中，V_xy**(m，n)＝V*(x，y，m，n)+δ*(x，y，m，n)       (28)，其中，V*(x，y，m，n)为像素点(x，y)的3×3邻域点(m，n)的基准势能值，δ*(x，y，m，n)为像素点(x，y)的3×3邻域点(m，n)的运动信息一致性的表征，其两者计算公式如下：V*(x,y,m,n)=1,|zt-1(x,y)-zt-1(m,n)|<α0,|zt-1(x,y)-zt-1(m,n)|>α---(29),]]>δ*(x,y,m,n)=1,|zt-1(x,y)-zt-1(m,n)|<α1,|zt-1(x,y)-zt-1(m,n)|>αand|It(x,y)-It(m,n)|≤β0,|zt-1(x,y)-zt-1(m,n)|>αand|It(x,y)-It(m,n)|>β---(30),]]>其中α＝0.1，β＝0，z_t-1(m，n)为z_t-1像素点在(x，y)的3×3邻域点(m，n)的值，z_t-1(x，y)为z_t-1像素点在(x，y)的值，I_t(m，n)为I_t像素点在(x，y)的3×3邻域点(m，n)的值，I_t(x，y)为I_t像素点在(x，y)的值；步骤4b、对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值，z₃₁(x，y)为对空洞和非闭合边缘处理的分割标记：其中，z₃₁(x，y，m，n)为z₃₁(x，y)在3×3邻域像素点(m，n)的值；步骤4c、对所有的连通域进行贴标签处理，将小于阈值Th_O的连通域视为杂点进行去除，去除杂点的分割标记为z₃₂(x，y)：z32=(x,y){z31(x.y)|z31(x.y)⊆areai},ifareai≥Tho0,ifareai<Tho---(32);]]>步骤4d、边缘不平滑处理，获得先验分割标记修正后的分割标记z₃₃：B*=001111100011111110111111111111111111111111111111111111111111111011111110001111100---(33),]]>z33={x,y|B*xy⊆z32}---(34);]]>步骤5、融合修补欠分割后的分割标记z₂₃和先验分割标记修正后的分割标记z₃₃，得到最终的分割标记z_tz_t＝z₂₃∩z₃₃。                   (35)