[发明专利]基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法

权利要求书

1.一种基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和套牌假牌车辆检测系统；

所述的摄像机用于获取城市各道路上的抓拍图像数据，配置在道路的上方，通过网络将道路上的抓拍图像数据传输给所述的交通云服务器；

所述的交通云服务器用于接收从所述的摄像机所获得的道路抓拍图像数据，并将其递交给所述的套牌假牌车辆检测系统进行车辆基本信息的一致性、车辆与车牌发牌机关一致性、无黑名单记录、基本信息一致性和逻辑一致性识别检测，若识别检测发现存在有任何一种不一致情况，生成告警通知书并推送给管理人员，管理人员接到报警后，确认告警通知书中的内容，根据线索对违法车辆进行追踪，并通知路面周边警力做好拦截准备；

所述的套牌假牌车辆检测系统包括基于Faster R-CNN车辆定位检测模块、车辆类型识别模块、车牌定位涉牌违法和识别模块、车辆与车牌发牌机关一致性的检测模块、车牌合法性检测模块、基本信息一致性检测模块、逻辑一致性检测模块、车检标精细比对模块和告警通知书生成模块；其中，所述的基于Faster R-CNN车辆定位检测、所述的车辆类型识别、车牌定位和车检标定位和所述的车检标精细比对模块都共享CNN网络，采用递进式的多任务深度卷积神经网络技术；

所述的车辆类型识别模块用于对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像进行车辆固有属性的识别，包括车辆的类型、颜色和品牌型号；在对所述的基于Faster R-CNN网络进行学习训练时，将各种车辆的类型、颜色和品牌型号分别打上标签作为训练数据集对Faster R-CNN网络进行训练，这样在对车辆固有属性识别时，SoftMaxLoss层就会输出车辆的类型、颜色和品牌型号识别结果，Faster R-CNN网络支持多标签的输入。

2.如权利要求1所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的基于Faster R-CNN车辆检测模块用于检测在卡口抓拍图像中的所有车辆，采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；

使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN机动车目标检测网络；

所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是机动车辆对象；

对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；

每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；

为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；

遵循Faster R-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：

L({pi},{ti})=1NclsΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)---(1)]]>

这里，i是一个anchor的索引，P_i是anchor是第i目标的预测概率；如果anchor为正，GT标签P_i^*就是1，如果anchor为负，P_i^*就是0；t_i是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，N_cls是cls项的归一化值为mini-batch的大小，N_reg是reg项的归一化值为anchor位置的数量；分类损失函数L_cls是两个类别，即机动车辆目标与非机动车辆目标的对数损失：

Lcls(pi,pi*)=-log[pi*pi+(1-pi*)(1-pi)]---(2)]]>

式中，L_cls为分类损失函数，P_i为anchor是第i目标的预测概率；P_i^*为真正目标包围盒的第i目标的预测概率；

对于回归损失函数L_reg，用以下函数定义：

Lreg=(ti,ti*)=R(ti-ti*)---(3)]]>

式中，L_reg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L₁；

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise,---(4)]]>

式中，smooth_L1为smooth L₁损失函数，x为变量；

Faster R-CNN网络，在输入图像经过深度卷积神经网络后得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是机动车的区域；

对于Faster R-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；

每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；

输出则由最大池化得到的特征映射，将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。