[发明专利]基于机器学习和光流的车辆跟踪方法

摘要

本发明公开了一种基于机器学习和光流的车辆跟踪方法，一次性离线训练得到车辆模型，用此车辆模型在视频流中实时检测车辆团块Blob，并对每个车辆团块Blob计算特征点集进行双向金字塔光流跟踪，通过对前向和反向的光流跟踪结果进行分析过滤，实现对多目标的稳定精确跟踪，形成车辆轨迹。本发明提供的基于机器学习和光流的车辆跟踪方法，是一完整的车辆跟踪解决方案，在实际的智能交通、电子警察、视频监控、无人驾驶等领域可广阔应用；使用本发明的跟踪方法，用户可很好的解决当前跟踪算法中的经典难题，实现对多目标的稳定精确跟踪，如场景中车辆长期停留、尺度变化、阴影、局部遮挡、粘连等；特别对于恶劣天气、低照度、高噪点也有较好结果。

主权项

基于机器学习和光流的车辆跟踪方法，其特征在于：所有使用到的图像均为预处理后的图像，所述预处理的方法如下：将输入图像由RGB图像转换为灰度图像，并进行尺寸归一化，计算尺寸归一化后的灰度图像的平均亮度和直方图分布，根据计算结果判断检测到的图像的场景为白天、傍晚还是夜间：若检测到的图像的场景属于白天或夜间，则完成图像预处理；若检测到的图像的场景属于傍晚，则对尺寸归一化后的灰度图像作对比度拉伸和/或直方图均衡化处理，完成图像预处理；该车辆跟踪方法具体包括如下步骤：(1)离线训练车辆模型：收集白天和夜间的正负样本图像，通过机器学习算法，提取图像特征，进行学习训练，得到白天车辆模型和夜间车辆模型；(2)车辆检测：对于预处理后的灰度图像，采用与学习训练相同的机器学习算法，提取与学习训练相同的图像特征，用学习训练好的模型，进行车辆检测，以车辆团块Blob表征车辆，获取图像中的所有车辆团块Blob：若为白天和傍晚场景则调用白天车辆模型，若为夜间场景则调用夜间车辆模型；所述车辆团块Blob使用矩形表示，包括质心坐标(c_x,c_y)和尺寸信息，所述尺寸包括宽度width和高度height；将当前帧中检测得到的车辆团块Blob送入车辆轨迹匹配模块；在检测车辆过程中，对滑动窗口进行预处理，不满足预处理条件的滑动窗口直接跳过；(3)车辆跟踪：分析前一帧图像和当前帧图像：对于存在于前一帧图像中的车辆，通过对应的跟踪器跟踪得到该车辆在当前帧图像中的轨迹；对于前一帧图像中不存在而当前帧中存在的车辆，则将该车辆作为新的车辆，并分配一个对应的跟踪器，在后续帧图像中对该车辆进行跟踪；所述跟踪器采用的跟踪算法为双向金字塔光流算法，通过对前向和反向的光流跟踪结果进行分析过滤，实现对多目标的稳定精确跟踪，形成车辆轨迹；所述双向金字塔光流算法具体包括如下步骤：(31)对前一帧图像，在每个车辆团块Blob内部，计算Harris角点，如果角点数目N1少于阈值T1，则计算差值N2＝T1‑N1，求不小于N2且能完全开方的最小整数N3，在车辆团块Blob内部按照等间隔取N3个点，将N3个采样点和N1个Harris角点一起作为光流跟踪的原始点集P1；(32)根据前一帧图像和当前帧图像：首先对原始点集P1进行L层金字塔光流跟踪，运动方向为从前一帧图像到当前帧图像，得到跟踪结果点集P2；再对跟踪结果点集P2做反向的L层金字塔光流跟踪，运动方向为从当前帧图像到前一帧图像，得到反向跟踪结果点集P0；(33)对反向跟踪结果点集P0与原始点集P1进行误差分析：分别计算P0和P1中对应点的欧氏距离及其中值，标记出欧氏距离超过中值或者超过阈值T2的点；分别计算P0和P1中对应点的N×N邻域的归一化互相关系数及其中值，标记出互相关系数小于中值的点；将所有标记出的点在原始点集P1、跟踪结果点集P2和反向跟踪结果点集P0中删除，最终得到过滤后的原始点集P1'、过滤后的跟踪结果点集P2'和过滤后的反向跟踪结果点集P0'；(34)判断车辆跟踪是否可信，若车辆判为跟踪不可信，则使用Kalman滤波方法，根据该车辆团块Blob在前几帧图像中的位置进行预测，将预测出的位置作为车辆在当前帧中的预测轨迹，将预测轨迹送入车辆轨迹匹配模块中；车辆判为跟踪不可信的判据为：若过滤后的跟踪结果点集P2'中的点的数目少于阈值T3，则该车辆判为跟踪不可信；计算P0'和P1'中对应点的欧氏距离及其中值，若中值大于阈值T4，则该车辆判为跟踪不可信；否则车辆判为跟踪可信；(35)若车辆判为跟踪可信，则计算车辆在当前帧的轨迹：计算P1'和P2'中对应点在x方向和y方向上的位移Dx和Dy，分别取中值作为该车辆团块Blob从前一帧运动到当前帧的x方向和y方向位移dx和dy；计算P1'中任意两点在x方向和y方向上的间距Dx₁和Dy₁，计算P2'中任意两点在x方向和y方向上的间距Dx₂和Dy₂；将对应的Dx₁和Dx₂相除，得到一系列比值Dx₂/Dx₁，取中值作为该车辆团块Blob从前一帧运动到当前帧的x方向的变换尺度s_x；将对应的Dy₁和Dy₂相除，得到一系列比值Dy₂/Dy₁，取中值作为该车辆团块Blob从前一帧运动到当前帧的y方向的变换尺度s_y；根据该车辆团块Blob在前一帧图像中的质心坐标、尺寸、位移和变化尺度，得到该车辆团块Blob在当前帧图像中的位置，计算方法如下：c_x'＝c_x+dxc_y'＝c_y+dywidth'＝width×s_xheight'＝height×s_y以(c_x,c_y)、width和height表示车辆团块Blob在前一帧图像中的信息，以(c_x',c_y')、width'和height'表示车辆团块Blob在当前帧图像中的信息；(36)对计算得到的所有车辆轨迹进行合理性检验：若车辆轨迹不合理，则使用Kalman滤波方法，根据该车辆团块Blob在前几帧图像中的位置进行预测，将预测出的位置作为车辆在当前帧中的预测轨迹；车辆在当前帧中的预测轨迹和光流跟踪得到的轨迹统称为车辆当前帧轨迹，将车辆当前帧轨迹送入车辆轨迹匹配模块中；车辆轨迹合理性判据为：根据车辆轨迹，计算车辆在当前帧相对于前一帧的位移L_x1、L_y1和相对于起始帧的位移L_x2、L_y2；如果L_x1、L_y1有向左后或右后方的分量且超过阈值T5，则判为不合理；如果L_x1与L_x2的方向相反且L_x1超过阈值T5、或L_y1与L_y2的方向相反且L_y1超过阈值T5，则判为不合理；(4)车辆轨迹匹配：使用车辆轨迹匹配模块，将所有车辆当前帧轨迹分别与当前帧中检测得到的所有车辆团块Blob进行两两匹配：若车辆当前帧轨迹与某个车辆团块Blob相匹配，则用该车辆团块Blob替代车辆当前帧轨迹；两个Blob匹配的准则为：计算宽度差dw、高度差dh、质心距离dcx和dcy，分别满足：dw小于最小宽度的一半，dh小于最小高度的一半，dcx小于最小宽度的1.5倍，dcy小于最小高度的一半；(5)车辆轨迹删除：在当前帧中，对于车辆当前帧轨迹中的预测轨迹，若未与任何检测得到的车辆团块Blob匹配，则予以删除；对于车辆当前帧轨迹，若质心超出图像边界、或在前后连续5帧中均未被匹配，则予以删除。