[发明专利]一种基于目标姿态预测及多特征融合的行人目标检测方法

摘要

本发明公开了一种基于目标姿态预测及多特征融合的行人目标检测方法，首先，基于RGB彩色空间初步提取运动目标，抑制光照突变影响，并对检测结果中包含的阴影进行去除；然后，对检测结果中被判定为属于同一目标的矩形框进行合并，最后，对矩形框内的目标区域，结合基于姿态估计所构建的步态检测模板，修复因目标与背景相似而导致的缺损。本发明的有益效果是，通过姿态预测构建目标模板，在模板范围内由原来的背景特征匹配转换为目标特征匹配，由此，解决目标与背景视觉特征相似时无法区分背景与目标的问题，提高目标检测的准确性及完整性。

主权项

1.一种基于目标姿态预测及多特征融合的行人目标检测方法，其特征在于：首先，基于RGB彩色空间初步提取运动目标，抑制光照突变影响，并对检测结果中包含的阴影进行去除；然后，对检测结果中被判定为属于同一目标的矩形框进行合并，最后，对矩形框内的目标区域，结合基于姿态估计所构建的步态检测模板，修复因目标与背景相似而导致的缺损，具体按照如下步骤实施：步骤1、基于RGB彩色空间提取运动目标启动监控系统采集监控视频帧，首先进入学习阶段，根据单高斯背景建模方法获得背景图像[b(x，y，i)]_m×n×3，其中，b(x，y，i)为视频帧彩色图像i通道在坐标为(x，y)上的像素值，i＝1，2，3分别表示R、G、B三通道，m，n分别为图像的行数与列数，即x＝1，2，...，m，y＝1，2，...，n，学习阶段结束后，系统切换至监控状态，1.1)对于视频监控首帧的目标检测设当前帧彩色图像为[f_t(x，y，i)]_m×n×3，其中的f_t(x，y，i)为当前时刻t输入的视频帧彩色图像i通道在坐标为(x，y)上的像素值；i＝1，2，3分别表示R、G、B三通道；m，n分别为图像的行数与列数，即x＝1，2，...，m，y＝1，2，...，n，按照公式(1)分别计算三通道的相似度特征图像[S_t(x，y，i)]_m×n×3，St(x,y,i)=1-|ft(x,y,i)-b(x,y,i)|255,i=1,2,3---(1)]]>按照公式(2)对三个通道的相似度特征矩阵特征图像进行加权处理，得到一个二维的特征图像[C_t(x，y)]_m×n，Ct(x,y)=Σi=13αi·St(x,y,i)---(2)]]>其中，α_i，i＝1，2，3为三通道特征值的加权系数，取值范围为i＝1，2，3；C_t(x，y)∈(0，1)表征当前像素点颜色与相应背景像素点颜色的接近程度，C_t(x，y)越大，表明当前点的像素越接近背景，判断为背景像素点的可能性大，否则可能为前景像素点，设定分割阈值，按照公式(3)进行前景/背景像素点分类，得到检测结果[result(x，y)]_m×n，result(x,y)=0Ct(x,y)≥Th1Ct(x,y)<Th---(3)]]>其中，分割阈值Th∈(0，1)，1.2)对于视频监控后续帧的目标检测采用动态阈值补偿的方法，来抑制光照变化的影响，设当前t时刻输入视频帧图像的特征图像为[C_t(x，y)]_m×n，t-1时刻输入视频帧的特征图像为[C_t-1(x，y)]_m×n，则按照公式(4)计算阈值补偿值δ：δ=1m×n·[Σx=1mΣy=1nCt(x,y)-Σx=1mΣy=1nCt-1(x,y)]---(4)]]>则补偿后的新阈值：Th₁＝Th+k·δ    (5)其中，k为更新系数，取值范围为k∈[1，4]；则，在后续的帧中，按照新阈值进行目标检测：result(x,y)=0Ct(x,y)≥Th11Ct(x,y)<Th1;---(6)]]>步骤2、去除图像中的运动阴影由于在RGB颜色空间无法分割运动目标与运动阴影，因此，将其转换到HSV颜色空间进行处理，按照公式(7)进行运动阴影的去除：其中，参数满足τ_s∈(0，0.2)，τ_h∈[0，1]；(x，y)∈Ω，Ω为按照公式(6)判断为目标区域的点，即Ω＝{(x，y)|result(x，y)＝1}；步骤3、用最小外接矩形标识连通域将步骤2所检测出的目标区域Ω作为运动目标候选区域进行贴标签处理，消除其中面积大于系统监控分辨率下的最大目标面积的连通域，同时消除小面积噪声连通域之后，对剩余的连通域采用最小外接矩形进行标识；步骤4、合并分裂的外接矩形框假设由步骤3得到的两个连通域的外接框为矩形框A和矩形框B，矩形框A的左上、右下两个对角点的坐标分别为(a₁，b₁)、(c₁，d₁)，矩形框B的左上、右下两个对角点的坐标分别为(a₂，b₂)、(c₂，d₂)，如果将该两个矩形框合并，则合并后的矩形框的左上对角点的坐标为(a₁₂，b₁₂)，其中a₁₂＝min{a₁，a₂}，b₁₂＝min{b₁，b₂}；右下对角点的坐标为(c₁₂，d₁₂)，其中c₁₂＝max{c₁，c₂}，d₁₂＝max{d₁，d₂}，计算合并后的矩形宽度w₁₂和高度h₁₂：w₁₂＝d₁₂-b₁₂    (8)h₁₂＝c₁₂-a₁₂    (9)如果合并后的矩形宽度和高度满足w₁₂≤Th_w，并且h₁₂≤Th_h，则判断为该两个连通域属于同一个目标，进行合并，否则不合并，其中的阈值Th_w、Th_h分别为系统所使用的摄像头分辨率下的最大可能目标的外接矩形的长、宽，根据系统设置进行预存；步骤5、确定目标运动的方向计算当前时刻目标外接矩形的中心点坐标位置xct=wt/2,yct=ht/2---(10)]]>其中，w^t是目标的外接矩形的宽度，h^t是目标的外接矩形的高度，之后，分析若干帧内目标外接矩形的中心点坐标位置的变化规律，设观测运动帧长度为T，T值根据目标在图像中的大小确定，假设图像帧的大小为m×n，目标外接矩形的宽、高为w^t，h^t，取T＝k_T·min{m/h^t，n/w^t}，k_T为调整系数，k_T∈[0.5，4]，则目标的外接矩形坐标在t+T时刻的中心点坐标为其运动方向判断如下公式(11)：其中，L(t)＝1表示目标的运动方向是正面行走，L(t)＝2表示目标的运动方向是右向行走，L(t)＝3表示目标的运动方向是左向行走；步骤6、进行目标缺损的修复6.1)确定步态模板步态定义为，行人在一次右腿向前跨出最远的位置到下次右腿向前跨出最远的位置的过程中的不同姿态；6.2)进行目标缺损的修复为了修正步骤5给出的外接矩形内的运动目标的缺失，首先，根据步骤5目标在画面中的运动方向，判断是属于正向行走、左行或是右行之后，从步骤6.1)保存的步态模板，将其进行缩放，使其外接矩形大小与检测目标区域的外接矩形大小相同时，选择与目标当前步态最接近的一个作为当前目标的预测，来修复当前检测结果中的残缺，根据步骤5所确定的目标运动方向，调用该运动方向上的步态模板，设模板为N_k为k＝1，2，3三个运动方向上的模板个数，当前目标最小外接矩形区域为I_rect，根据所判定的目标运动方向，将属于该运动方向的各步态模板M_i分别与当前目标最小外接矩形区域I_rect进行匹配，计算重叠面积，参照公式(12)：其中，w^t，h^t分别为当前目标最小外接矩形的高和宽，选择重叠面积最大的步态模板M^max作为当前目标的步态模板，然后，利用判断出的步态模板M^max，结合目标检测算法，修正检测结果，遍历整个目标的最小外接矩形区域I_rect，若I_rect(x，y)为背景点，而M^max(x，y)为目标点，则按照步骤1中的公式(2)，计算点(x，y)处的特征C_t(x，y)，设定修复缺损的判断阈值Th₂，Th₂＞Th₁，取值为Th₂＝k_Th·Th₁，k_Th∈[1.1，1.8]，若C_t(x，y)＜Th₂，判断为目标点，将其修复；否则，则判断为该点仍属于背景点，不做修改。