[发明专利]市区环境下基于视觉的车载行人检测与跟踪方法及系统

摘要

本发明涉及一种市区环境下基于视觉的车载行人检测与跟踪方法及系统，本发明为了避免在整幅图像中匹配已建立的目标颜色概率分布图而导致在寻求最优匹配位置时出现较大的偏差，根据上一时刻图像中行人的质心位置，采用Kalman滤波预测下一时刻行人的质心位置，以该预测位置为中心建立搜索窗口，利用Meanshift算法匹配所建立的行人目标颜色概率分布图，从而确定行人质心的当前时刻的观测位置并更新行人目标颜色概率分布图和Kalman滤波的状态和协方差阵，当行人已经走出视野范围或者跟踪失效时针对待检测图像采用行人检测方法重新检测行人作为待跟踪目标，避免出现跟踪累积误差。因此，本发明可以广泛用于行人安全保护技术领域。

主权项

1.一种市区环境下基于视觉的车载行人检测与跟踪方法，它包括以下步骤：1)实时获取车辆前方的彩色道路视频；2)针对获取的彩色道路视频进行逐帧处理得到待检测图像，初始化后，设定前z帧待检测图像的状态为未跟踪状态，所述未跟踪状态为需要对待检测图像进行行人检测的状态，待检测图像的状态用变量S表示，S＝0表示上一帧待检测图像的状态为未跟踪状态，S＝1表示上一帧待检测图像的状态为待跟踪状态，所述待跟踪状态为需要对待检测图像进行行人跟踪的状态；3)针对待检测图像进行行人检测，若连续z帧待检测图像成功检测到行人目标，其中，z>2且为整数，则记录最后一次成功检测的行人目标的质心位置信息，并将最后一次成功检测到行人的待检测图像的状态改为待跟踪状态，置S＝1，进入步骤4)；否则，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，进入步骤4)；所述步骤3)包括以下步骤：①将待检测图像转换为灰度图像，并进行中值滤波处理，使其划分成若干子窗口图像，提取其梯度直方图特征并进行降维优化，得到优化后的子窗口图像；②采用行人识别分类器针对优化后的子窗口图像逐一进行行人目标判别，若当前检测的子窗口中不存在行人目标，则检测当前待检测道路图像中下一子窗口图像是否存在行人目标；若当前检测的子窗口图像中存在行人目标，则判断该子窗口图像为行人图像，记录相应的行人目标的质心位置信息，并对行人目标检测成功的次数进行记录；③当连续z帧待检测图像成功检测到行人目标时，记录最后一次成功检测到的行人目标的质心位置信息，并将最后一次成功检测到行人的待检测图像的状态改为待跟踪状态，进入步骤4)；否则，将待检测图像的状态改为未跟踪状态，进入步骤4)；所述行人识别分类器工作过程如下：建立行人识别分类器，其包括以下内容：从MIT行人数据库和INRIA行人数据库中抽取n＝4950个样本图像，其中n1＝2450个包含行人的真样本图像、n2＝2500个不包含行人的假样本图像，样本图像为灰度图像，大小为128×64像素；提取每个样本图像的梯度直方图特征向量，具体步骤是将每个样本图像分成5031个子块，子块的大小分别为12×12、12×24、24×12、24×24、24×48、48×24、36×36、72×36、48×48、96×48、64×64和128×64像素12个类型，子块与子块之间允许有重叠，重叠的尺度分别为4、6和8个像素，每个子块由两行两列均匀分布的4个单元组成；采用Sobel算子处理得到每个样本图像的梯度强度和梯度方向，并将梯度方向均匀分成9个区间，使用积分直方图得到每个单元的梯度直方图特征，因此，每个单元提取9个区间的梯度直方图特征，每个子块由4个单元组成得到36个梯度直方图特征，每个样本图像由5031个子块组成得到181116个特征值，每个样本的特征向量记为xi；采用加权Fisher线性判别方法对每个样本的特征向量进行降维优化，设定每个样本权重wi，对于真样本图像，其权重为wi＝1/2n1，对于假样本图像，其权重为wi＝1/2n2，使得所有样本权重之和为1，分别计算真样本图像的类内均值m1、类内加权协方差矩阵s1和假样本图像的类内均值m2、类内加权协方差矩阵s2：按照如下关系计算得到最佳投影方向a＝(s1+s2)‑1(m1‑m2)将每个样本图像i的特征向量xi按照下式进行投影，从而将每个样本图像的多维特征降为1维特征，记为f(xi)：f(xi)＝aTxi,i＝1,2,...,n将训练样本的输入记为Xtrain＝{f(x1),f(x2),...,f(xn)}、训练样本的输出记为Ytrain＝{y1,y2,...,yn}，对于真样本图像，其输出记为yi＝+1，对于假样本图像，其输出记为yi＝‑1，首先基于查找表方法构建行人识别弱分类器，并用Gentle AdaBoost算法从所有的弱分类器中挑选出分类能力强的弱分类器线性组合成一个强分类器，该分类器即为训练得到的行人识别分类器；基于查找表方法构建行人识别弱分类器的过程如下：查找表方法则是先将由样本特征构成的整个样本集的特征值划分为k1＝8个子区间B(i)，i＝1,2,...,k1，然后通过统计每个区间中的权值总和来估计后验概率，如果某个样本的特征值落在某个区间，弱分类器h(x)可表示为该样本可能是真样本图像或假样本图像的后验概率之差，该弱分类器是一个表示置信度的实数值，能够有效地提高分类器的识别精度；计算特征值落在第i个区间B(i)内的真样本图像和假样本图像权重的总和和若某个样本的特征值f(xi)落在第i个区间B(i)内，则该样本可能是真样本图像或假样本图像的后验概率为则可得某个区间B(i)内特征值f(xi)的弱分类器为基于Gentle AdaBoost算法训练得到的行人识别分类器：根据训练样本的输入和输出，设定初始权重，假设分类器中有T＝20个分类能力较强的弱分类器，对于每一轮训练t(t＝1,2,...,T)，首先需要归一化权重，然后对于每一个特征值，按照上述方法计算得到一个弱分类器，用该弱分类器对样本集进行分类，选择具有最小分类错误率的弱分类器作为本轮训练选出的最优分类器ft(x)，同时加大被错误分类样本的权重、降低被正确的类样本的权重，该轮训练结束并进入下一轮训练，直到T轮训练结束，最后得到的行人识别分类器即为采用建立的行人识别分类器对图像预处理单元处理后的图像进行判别，并将存在行人目标的图像作为待跟踪的行人图像，并标记相应的行人目标的质心位置信息，其包括以下内容：采用行人识别分类器依次对每个子窗口图像进行判别，若输出为正值，则判断该子窗口图像存在行人目标，将计算机系统采集的待检测图像对应于该子窗口图像位置的图像记为I，并以该子窗口图像的中心位置在待检测图像中的绝对位置作为行人目标的质心位置，标记为(p_i,p_j)，p_i表示行人质心在待检测图像水平方向上的位置、p_j表示行人质心在待检测图像垂直方向上的位置，否则，判断该子窗口图像不存在行人目标，从而实现了在线行人检测；4)根据上一帧待检测图像的状态判断下一帧待检测图像进行行人检测或行人跟踪，若S＝0，则返回步骤3)；若S＝1，则进入步骤5)；5)针对待检测图像进行行人跟踪，若连续z帧待检测图像跟踪失败，则表示行人已经走出视野范围或者跟踪失效，结束跟踪，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，返回步骤4)；否则，将最后一次成功跟踪行人的待检测图像的状态改为待跟踪状态，置S＝1，返回步骤4)；所述步骤5)包括以下步骤：①针对包含行人目标的待检测图像，建立第k‑1时刻的行人目标颜色概率分布图IP，其中k为任意时刻；②针对包含行人目标的待检测图像的质心位置，采用Kalman算法预测第k时刻的质心位置；③采用Meanshift算法结合第k‑1时刻的行人目标颜色概率分布图IP和第k时刻的质心位置进行行人跟踪；若跟踪成功，则将跟踪过程中的数据用于更新①和②；若跟踪失败，则对失败次数进行累计；④当连续z帧跟踪行人目标失败时，则表示行人已经走出视野范围或者跟踪失效，结束跟踪，将连续z帧的最后一帧待检测图像的状态改为未跟踪状态，置S＝0，返回步骤4)；否则，将最后一次成功跟踪行人的待检测图像的状态改为待跟踪状态，置S＝1，返回步骤4)。