[发明专利]一种融合深度学习与背景差法的平安城市车流统计方法

摘要

本发明公开了一种融合深度学习与背景差法的平安城市车流统计方法。本发明针对红外检测、地感应线圈检测、超声波检测等方法的缺陷，先使用背景差法获取图像内目标，交由深度学习进行训练分类。通过CNN和GAN网络对待识别目标进行分类，针对分类结果动态设置判定轴和识别区域，对车辆进行识别计数。本发明在多种环境中有比较高的统计精度，适应训练样本不丰富的情况下的模型训练，能够更加准确的提取数据特征，从而提高模型的分类准确性。

主权项

1.一种融合深度学习与背景差法的平安城市车流统计方法，其主要特征包括如下步骤：步骤(1)用混合高斯背景建模分离原视频帧图像的前景和背景，提取前景图像，对前景图像进行预处理，二值化、中值滤波和形态学操作；步骤(2)将提取出的前景图像中位于车辆驶入方向20米之内的目标切割成251*251像素的图片，人工对切割好的前景图像进行标记，依据车长将切割后前景图像中的汽车标记成5类:类Ⅰ为3到6米，类Ⅱ为6-9米，类Ⅲ为9-12米，类Ⅳ为12-15米，类Ⅴ为15-18米；具体分类如下：2-1.选取100辆车计算成像比例prop，取平均值；通过测量原视频帧图像中车辆长度即成像车长length_img，查询该车辆实际车长length_real，确定车辆的成像比例，计算如下：prop＝length_real/length_img (1)2-2.根据式(1)中所得成像比例prop，确定车辆驶入方向20米在前景图像中的位置，即确定待分类车辆所在区域zone；zone＝20/prop (2)2-3.根据式(1)中所得成像比例prop，测量原视频帧图像中车辆长度length_img，计算待标记车辆实际车长length_real:length_real＝prop*length_img (3)2-4.根据式(3)中计算所得实际车长length_real，对前景图像中待标记车辆进行分类标记；步骤(3)选取五类汽车图片各500张作为训练样本，采用如下处理方案：3-1.划分数据区：数据集有五类图像，其中每一类别有500张，对每一类分别取出100张作为测试集，则总共有500张图像的测试集不会参与模型的训练，而是用来验证模型识别图像的准确率；3-2.数据增广：对数据集中除测试集之外的图像进行基于OpenCV的处理来扩增图像数量；具体采用以下技术手段：A.对图像进行水平翻转或者随机角度的旋转；B.对图像进行随机裁剪至227x227像素；C.在原视频帧图像上添加一些随机噪音和细微的颜色抖动；D.PCA均值化处理；3-3.创建生成式对抗网络GAN模型：GAN模型中的两位博弈方分别有生成模型G和判别模型D充当；生成模型G捕捉样本数据的分布，用服从某一分布的噪声z生成一个类似真实训练数据的样本；判别模型D是一个二分类器，估计一个样本来自于训练数据的概率，如果样本来自于真实的训练数据，D输出大概率，否则，D输出小概率；GAN训练过程中固定一方，更新另外一方的网络权重，交替迭代,过程公式如下： m i n G max D V ( D , G ) = E x ~ p d a t a ( x ) [ l o g D ( x ) ] + E x ~ p z ( z ) [ l o g ( 1 - D ( G ( z ) ) ) ] ]]>整个式子由两项构成；x表示真实图片，z表示输入生成模型G的噪声，而G(z)表示生成模型G生成的图片；D(x)表示判别模型D判断真实图片是否真实的概率,而D(G(z))是判别模型D判断生成模型G生成的图片的是否真实的概率；当固定生成生成模型G的时候，对于判别模型D优化如下：输入的若是真实数据，判别模型D优化使得模型结果输出为1；输入的数据如果高仿的，判别模型D优化使得模型结果输出为0；当固定判别模型D时，生成模型G优化模型使其输出的数据分布和真实数据一样，并且该样本在经过判别模型D的判别之后输出较高概率！为每一种类型构建一个对应的GAN对抗网络模型，用每一类的4000张训练集图像作为真实数据来不断提高判别模型D和生成模型G；最后选取最优生成模型G来识别该类，并且规定：当生成模型G输出概率大于等于90％，返回值1；当输出概率小于90％时，返回0；对五个类别构造五个对应的判别模型D，分别为GAN_D1,GAN_D2,GAN_D3,GAN_D4,GAN_D5；构建完成后，依次使用五个判别模型D对一张输入图像进行鉴别，用一个全局变量result来记录每个判别模型D的结果；3-4.构建基于卷积神经网络的分类器：当不止一个判别模型D返回1，则说明同时有多个判别模型D认为输入图像是属于该判别模型所在的类别，说明该输入图像属于多种类别，但是一张图像有且仅属于一类，因此需要构建一个CNN分类器来对该输入图像进行再分类；3-4-1.设计一个能够完全提取灰度图像车流特征的网络架构；该架构包含33层结构，架构中包含卷积层、池化层、归一化层、激活层、残差层和全连接层；用训练集的总共2万张图像训练该网络架构，最终选取最优的模型作为五分类识别器；该网络架构能够充分提取该灰度图中汽车特征，并且给出精准的唯一分类结果：3-4-2.通过五种GAN的判别模型D分别判定图像属于哪一个种类；如果只有一个GAN判别模型D返回1，则该图像就属于该判别模型D所对应的类别，否则用基于深度学习的卷积神经网络分类器对该输入的图像进行识别再分类，最终输入唯一精确的所属类别；步骤(4)从视频帧图像中车辆驶入方向20米内获取待识别目标，将各个车道内的目标图像切割后分别交给步骤(3)进行识别分类，获得分类结果；步骤(5)针对不同类别的车辆，动态确定判定轴和车辆检测识别区域，进行计数；具体如下：5-1.依据步骤(4)中的分类结果，确定判定轴，类Ⅰ为6米，类Ⅱ为9米，类Ⅲ为12米，类Ⅳ为15米，类Ⅴ为18米；相应的识别区域为车辆驶入方向0米到判定轴；5-2.在视频帧图像中识别出车辆时，计数器加1，设置监控标志位为0，设置车辆检测识别区域为该车所属分类对应的识别区域；5-3.在最近一辆已计数车辆所对应判定轴的0.5至1.5倍区间内，若有车辆在该区间内被识别，则监控标志位为1，重置车辆检测识别区域。