[发明专利]一种基于深度图像与可见光图像融合的前景检测方法

摘要

本发明公开了一种基于深度图像与可见光图像融合的前景检测方法，首先对可见光图像以及深度图像进行背景建模，在深度图像的背景建模中，对深度值和深度值是否有效的概率进行了建模，在可见光图像中，利用时空域混合随机采样得到背景模型，然后再对检测到的前景进行融合。本发明将可见光图像与深度图像进行了有机融合，克服了单独利用可见光图像或者深度图像进行前景检测可能存在的检测不准确的问题。

主权项

一种基于深度图像与可见光图像融合的前景检测方法，其特征在于，包括以下步骤：1)连续选取N帧深度图像，统计所述深度图像各个像素上深度值为有效值，即深度值被正确测量的次数，将各个像素深度值被正确测量的次数存入矩阵Time_validate，同时累加有效深度值的和，存入矩阵depth_acc，利用矩阵点除法得到每个像素上的平均有效深度值depth_bg；统计出整幅深度图像上有效深度值的相对方差矩阵${\mathrm{VAR}}_{\mathrm{relative}}=\mathrm{mean}\left(\frac{\mathrm{var}}{{\mathrm{depth}}_{\mathrm{bg}}}\right),$并求出有效深度值出现的概率${\mathrm{Ratio}}_{\mathrm{validate}}=\frac{{\mathrm{Time}}_{\mathrm{validate}}}{N},$其中var表示由各个像素上有效深度值的方差构成的矩阵；2)将所述深度图像中深度值为有效值的概率小于的像素集合记为将所述深度图像中深度值为有效值的概率大于的像素集合记为将所述深度图像中深度值为有效值，且与所述深度图像的平均有效深度值满足公式$\frac{|{\mathrm{depth}}_{\mathrm{bg}}(u,v)-{\mathrm{depth}}_{\mathrm{curr}}(u,v)|}{\max \{{\mathrm{depth}}_{\mathrm{bg}}(u,v),{\mathrm{depth}}_{\mathrm{curr}}(u,v)\}}>2.5{\mathrm{VAR}}_{\mathrm{relative}}$的像素集合记为其中为深度值无效的概率阈值；为深度值有效的概率阈值；depth_curr表示当前帧深度图像中点(u,v)的深度值；depth_bg(u,v)表示当前帧深度图像中点(u,v)平均有效深度值；3)选取多帧可见光图像，将所述可见光图像中当前像素及其周围M个邻域像素历史灰度值或者颜色值所构成的集合定义为背景模型；若所述当前像素的灰度值或者颜色值与所述背景模型中某个元素的灰度值或者颜色值之差低于阈值T_chrom，则表示当前像素与该元素匹配；若所述背景模型中与所述当前像素匹配的元素的个数与所述背景模型中元素的个数之比大于Th_card，则当前像素为背景，反之当前像素为前景；同理判断所述可见光图像中的其余所有像素是否为前景，最后得到的所有前景组成前景集合FG_chor；4)利用下式得到融合后的前景${\mathrm{FG}}_{\mathrm{fusion}}^{\mathrm{all}}={\mathrm{FG}}_{\mathrm{fusion}}^1\∪{\mathrm{FG}}_{\mathrm{fusion}}^2\∪{\mathrm{FG}}_{\mathrm{depth}}^3;$上式中，${\mathrm{FG}}_{\mathrm{fusion}}^1=({\mathrm{depth}}_{\mathrm{curr}}(u,v)=\mathrm{invalide})\∩({\mathrm{Ration}}_{\mathrm{validate}}\<{\mathrm{Th}}_{\mathrm{ratio}}^{\mathrm{low}})\∩{\mathrm{FG}}_{\mathrm{chor}};$${\mathrm{FG}}_{\mathrm{fusion}}^2=({\mathrm{FG}}_{\mathrm{depth}}^1\∪({\mathrm{FG}}_{\mathrm{depth}}^2\∩({\mathrm{intensity}}_{\mathrm{curr}}\<{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{low}}\∪{\mathrm{intensity}}_{\mathrm{curr}}>{\mathrm{th}}_{\mathrm{gray}}^{\mathrm{high}})))\∩{\mathrm{FG}}_{\mathrm{chor}};$其中，depth_curr(u,v)＝invalide表示当前帧深度图像中点(u,v)深度值无效；intensity_curr为当前帧可见光图像的灰度；为低灰度阈值；为高灰度阈值。