[发明专利]基于深度学习的车辆变道不打转向灯分析系统

权利要求书

1.基于深度学习的车辆变道不打转向灯分析系统，其特征在于，包括视频流接入模块、GPU图形分析模块及违法信息组合上传模块；

所述视频流接入模块通过检测判断通信网络是否正常、前端摄像机是否正常工作、视频码流是否正常；

所述GPU图形分析模块包括车辆信息提取模块及违法行为判断模块；

所述车辆信息提取模块通过深度学习算法提取车辆信息，其中包括车型、车标、车牌位置、车身颜色及转向灯位置，并对车辆在图像中的位置进行精确定位；

所述违法行为判断模块将提取出来的转向灯位置结合视频图像，得到行为判断图像，并将该图像作为输入送入违法行为分析的深度学习算法之中，通过对违法行为分析网络进行前向传播，最终判断车辆变道时是否开启转向灯；

所述违法信息组合上传模块对违法车辆车牌进行识别，并将车牌照片、车辆照片及视频图像进行组合，上传到上层的服务器中；

分析方法，包括如下步骤：

1)视频流首先通过视频流接入模块，该模块负责对接各种前端相机，并对网络传输的图像数据进行检测，其中主要包括网络检测、相机检查和码流检测三个功能；

2)在确保视频流完整有效之后，将视频流分解为单帧图像，传送到GPU图形分析模块，其中车辆信息提取模块通过深度学习算法对单帧图像中车辆的各种信息进行处理；违法行为判断模块将其中提取出来的转向灯位置结合视频图像，得到行为判断图像，以该图像为输入，送入深度学习算法的神经网络之中，神经网络接收图像信息作为输入，并进行网络的前向传播，最后在网络的末尾输出违法判断结果；若存在违法行为，则将车牌区域信息和车身相关信息输入违法信息组合上传模块；

3)违法信息组合上传模块接受违法行为判断模块的信息，将违法车辆的相关信息进行整合，并对车牌区域的车牌进行识别，将整合好的信息上传到上层服务器；

所述步骤2)中违法行为判断模块具体实现步骤如下：

2.1)车道标定：对视频帧图像画面中的车道数量及车道虚、实线进行标定；

2.2)车辆跟踪：利用典型轨迹分析法对视频帧图像车辆进行运动描述，以判断车辆是否发生变道行为，若判断车辆在实线变道，则直接将车牌区域信息和车身相关信息输入违法信息组合上传模块；若判断车辆在虚线发生变道，则进入步骤2.3)；

2.3)车型判断：对虚线变道车辆的车型进行识别判断，并将车辆对称分割成左、右两个部分，从而对不同车辆左、右转向灯的位置进行快速识别；

2.4)转向灯判断：通过HSI色彩模型或HSV色彩模型对发生变道车辆的转向灯是否开启进行判断；

2.5)阴影消除：通过建立高度比较模型对车辆进行分析，实现车辆阴影的消除；

2.6)违法车辆跟踪：利用空间距离判断两相邻帧中的车辆是否为同一辆车，进而完成时域上车辆的跟踪；

所述步骤2.2)中车辆跟踪的启动过程如下：在视场无行进车辆条件下，图像中的背景路面的像素灰度值是Gb，行进车辆的图像像素灰度值Gv通常与Gb有一个差值且大于Gb，通过设置合理的阈值TH，计算车道标志线内灰度值大于TH的像素个数N，在有车辆通过视场的时候，由于行进车辆的像素灰度值Gv大于TH，N值会增大到一个设定的值，这样就确定了车辆，并进行记录；

所述步骤2.2)中车辆跟踪时如一个车道同时存在两辆车时，通过时域及空域分析算法结合，对车辆进行粗分割，从而将车辆的区域从复杂的交通场景中分割出来；

所述步骤2.2)中为了能够获得较好的典型轨迹，对轨迹样本进行分段拟合，最后再加以合并，就能得到整段轨迹的典型轨迹，且能最大程度的消除误差，最终优化完的典型轨迹是一个能反映行为特性的曲线；

所述步骤2.3)中利用典型轨迹，对检测到的车辆轨迹进行模型匹配，实现对该车型进行快速识别；模型匹配的过程：首先设定一个阈值，判断检测到的轨迹是否在典型轨迹运动模型周围浮动，并且差在设定的阈值内，如果是，则认为该模型匹配，这样就得出了检测轨迹的行为；为了保证阈值的有效性，对典型模型进行模式学习，模型匹配次数的增多，意味着车辆样本轨迹也在增加，因此模式学习时间越长，典型模型越能代表行为的特征，匹配结果也会更加精确；

所述步骤2.5)中高度比较模型建立过程如下：

2.5.1)选择视频中最普通最小型的车辆进行跟踪，均匀提取出有该车辆出现的单帧图像；

2.5.2)依次对每一幅图像中的目标车辆的位置信息进行记录，包括车辆在的图像中的纵坐标Y及纵坐标高度差△Y；

2.5.3)作出纵坐标高度差△Y关于纵坐标Y的拟合曲线，并算出其近似趋势线方程，亦即是所求纵向高度比较模型；

2.5.4)将检测到的运动目标进行高度判断，若不满足高度比较模型的高度条件，不予处理，实现阴影影响的滤除。