[发明专利]一种多特征权值自适应的阴影消除方法

摘要

本发明公开了一种多特征权值自适应的阴影消除方法。本发明首先获取待处理视频帧图像的背景图像及初始前景区域，然后基于其获取色度、光谱方向和纹理特征的前景掩膜，并从不同角度切入，设置前景分割图像的质量评价函数，对不同特征下的前景掩膜进行质量评估，根据评估的结果设置三种前景掩膜的融合系数并进行加权融合得到对应的时域前景概率谱，通过时域相关性对当前的检测结果进行约束，实现了一种基于多特征的权值自适应的车辆阴影消除方法。本发明避免了单一特征或者多特征级联方法中特征间无法相互弥补各自不足的问题。在尽可能提取出所有阴影的同时，降低了阴影的误检，更加完整、准确地消除车辆阴影。

主权项

1.一种多特征权值自适应的阴影消除方法，其特征在于,包括下列步骤：步骤1：输入待处理视频帧I；步骤2：对当前视频帧I的背景进行建模，得到背景图像B并计算对应的初始前景区域F0；步骤3：分别计算色度、光谱方向、纹理三种特征的前景掩膜Fchr、Fphy、Ftex；步骤301：计算色度特征的前景掩膜Fchr：将视频帧I和背景图像B转换到色彩空间W，色彩空间W包括图像的亮度、色度信息；对初始前景区域F₀中的任意像素(x,y)计算视频帧I和背景图像B中的亮度比其中I^V(x,y)、B^V(x,y)表示视频帧I和背景图像B中像素(x,y)的亮度分量；以及计算视频帧I和背景图像B中以任意像素(x,y)为中心、k1为半径的邻域的色度分量差分均值其中表示视频帧I和背景图像B中像素(x,y)的邻域内所有像素的色度分量累加和；根据亮度比Vratio、Cavg计算色度特征的阴影掩膜Schr以及对应的前景Fchr：对任意像素(x,y)，若α≤Vratio≤β，且Cavg≤τC，则阴影掩膜Schr中对应像素值Schr(x,y)＝1；否则Schr(x,y)＝0，其中α、β分别表示亮度阈值的下限、上限，τC表示色度阈值；对任意像素(x,y)，若Schr(x,y)＝0且F0(x,y)＝1，则前景掩膜Fchr中对应像素值Fchr(x,y)＝1；否则Fchr(x,y)＝0，其中F0(x,y)表示初始前景区域F0中像素(x,y)的像素值；步骤302：计算光谱方向特征的前景掩膜Fphy：对于初始前景区域F₀中的任意前景像素(x,y)，计算(x,y)在视频帧I和背景图像B中RGB三个色彩通道的差分向量v(x,y)、以及v(x,y)与B(x,y)的模之比α(x,y)、v(x,y)的G分量v^G(x,y)与R分量v^R(x,y)的夹角θ(x,y)、以及B分量与v(x,y)模的夹角形成光谱方向特征其中对初始前景区域F0中任意前景像素的光谱方向特征f(x,y)聚类得到阴影模型Ms(μ,σ2)，并计算基于光谱方向的阴影掩膜Sphy以及前景掩膜Fphy：对任意像素(x,y)，若||f(x,y)‑μ||＜σ2，则阴影掩膜Sphy中对应像素值Sphy(x,y)＝1；否则Sphy(x,y)＝0，其中，μ,σ2分别表示Ms(μ,σ2)的均值和方差；对任意像素(x,y)，若Sphy(x,y)＝0且F0(x,y)＝1，则前景掩膜Fphy中对应像素值Fphy(x,y)＝1；否则Fphy(x,y)＝0；步骤303：计算纹理特征的前景掩膜Ftex：将初始前景区域F0转换到色彩空间W；根据视频帧I和背景图像B中像素(x,y)的亮度分量IV(x,y)、BV(x,y)，以及色度分量IC(x,y)、BC(x,y)计算初选阴影掩膜SW：若IV(x,y)＜BV(x,y)且|IC(x,y)‑BC(x,y)|＜TC，则初选阴影掩膜SW中对应像素值SW(x,y)＝1；否则SW(x,y)＝0，其中TC表示色度差阈值；计算频帧I和背景图像B的边缘图像Iedge和Bedge，并差分得到前景边缘像素集合Fedge；根据Fedge优化初选阴影掩膜SW得到边缘阴影掩膜Sedge：对任意像素(x,y)，若S_W(x,y)＝1且则边缘阴影掩膜S_edge中对应像素值S_edge(x,y)＝1；若S_W(x,y)∈Ω_k2(u,v)，则S_edge(x,y)＝0，其中Ω_k2(u,v)表示以F_edge(u,v)为中心、k2为半径的邻域，F_edge(u,v)表示前景边缘像素集合F_edge中的任意像素(u,v)；计算边缘阴影掩膜S_edge中每个连通域的前景与背景的梯度纹理特征夹角其中分别表示水平和竖直方向的梯度，上标F和B分别用于区分前景与背景；统计S_edge中每个连通域中纹理特征与背景相近的像素及其所占比例其中n表示连通域像素总数，τ_α表示相似像素的数量阈值，H(·)表示阶跃函数；计算纹理特征的阴影掩膜Stex对应的前景掩膜Ftex：对任意像素(x,y)，若d＞Ttex，则阴影掩膜Stex中对应像素值Stex(x,y)＝1；否则Stex(x,y)＝0，其中Ttex表示相似度阈值；对任意像素(x,y)，若Stex(x,y)＝1且F0(x,y)＝1，则前景掩膜Ftex中对应像素值Ftes(x,y)＝1；否则Ftes(x,y)＝0；步骤4：设置前景掩膜Fchr、Fphy、Ftex的融合权值ωchr、ωphy、ωtex：401：根据m∈{chr,phy,tex}分别计算前景掩膜F_chr、F_phy、F_tex的相似性指标Q_con，其中特征类型n∈C_Sm，C_Sm表示m在集合S＝{chr,phy,tex}中的补集，函数f(·)表示图像特征，距离函数dist(f₁,f₂)用于计算两个图像特征的向量的距离：N表示图像特征的维数；402：根据公式m∈{chr,phy,tex}分别计算前景掩膜F_chr、F_phy、F_tex的边缘平滑性指标Q_edge，其中，Corners(F_m)和Edges(F_m)分别表示分割结果F_m的角点集合以及边缘点集合；|·|表示集合元素的数量；403：根据公式分别计算前景掩膜F_chr、F_phy、F_tex的区域完整性指标Q_com，其中，A_i表示第i个连通域的面积，A_max表示最大连通域的面积，T_area为预设面积比例阈值，N为连通域总数量，H(·)表示阶跃函数；404：根据公式m∈{chr,phy,tex}分别计算F_chr、F_phy、F_tex的综合指标Q_m；405：根据综合指标Q_m设置F_chr、F_phy、F_tex的融合权值ω_chr、ω_phy、ω_tex：m∈{chr,phy,tex}；步骤5：根据前景掩膜Fchr、Fphy、Ftex的融合权值ωchr、ωphy、ωtex进行加权求和得到空域前景概率谱图像Mprob＝∑m∈{chr,phy,tex}ωm×Fm；步骤6：基于空域前景概率谱图像Mprob计算时域前景概率普Mprob(t)：基于大小为w的时间滑动窗口，对窗口内的空域前景概率谱进行时域滤波，计算出当前时刻t的空域前景概率谱图像，即时域前景概率普其中ω_i表示(t‑i)时刻空域前景概率谱对应的权值：若i＜w‑1，则ω_i＝1/2ⁱ⁺¹；否则ω_i＝1/2^w；步骤7：计算最终前景掩膜Ffinal，完成对车辆阴影的消除处理：比较时域前景概率普Mprob(t)与前景置信度阈值Tc，计算出当前时刻t的空域前景概率谱图像的最终前景掩膜Ffinal(t)：若Mprob(t)＞Tc，则Ffinal(t)＝1；否则Ffinal(t)＝0。