[发明专利]一种基于深度学习的监控图像多类物体检测与识别方法

权利要求书

1.一种基于深度学习的监控图像多类物体检测与识别方法，其特征在于该方法包括以下步骤：

步骤1、收集不同地方的道路、小区监控视频图像数据，标注感兴趣的物体；

步骤2、把步骤1中标注信息转成SSD支持的xml标注格式并准备训练所需要labelmap.prototxt以及val_name_size.txt，按一定的比例分为训练集与验证集；

步骤3、设计训练网络：

3a).结合VGG，SqueezeNet，ResNet网络重新设计网络：

用SqueezeNet的网络替换原VGG网络Conv1～Conv5；

用1×3，3×1的网络取代原始VGG网络3×3的部分；

在原始VGG网络Conv6～Conv8中非提取框的卷积层引入ResNet模块；

3b).统计所有标注的信息，设置不同提取框的特征层的aspect_ratio；

步骤4、根据步骤3b的统计及实际应用需求，按W×H的大小生成leveldb/lmdb的数据库格式用于训练；

步骤5、设计loss函数：

其中：c，l，g，x分别表示属于某个类别的概率、预测框、真实框以及预测框与真实框匹配的标记；N表示与标注框匹配的数量；L_loc(x，l，g)为定位损失函数；L_conf(x，c)表示分类损失函数；

定义分类损失函数L_conf(x，c)如下：

w_i表示不同类别的权重，其计算公式为

表示类别为c_i的数量，M为总的框的数量；

步骤6、利用Caffe-SSD检测框架以上一步提出的函数为优化目标训练检测分类器；

步骤7、利用步骤6训练得到的检测分类器模型，输入测试图片或视频的一帧，再做同类别间的非极大值抑制，得到每一图像/帧的输出；

步骤8、统计训练集中每个类别在图像中出现的概率，得到每一类别在缩放图像上的概率热力图；

步骤9、利用步骤8得到的概率热力图重新计算每一类别的置信度的值，然后再利用非极大值抑制合并不同类别的框；

步骤10、根据实际情况对不同类别设计不同的置信度阈值，把低于本类置信度阈值的结果过滤掉，从而得到最终的输出结果。

2.根据权利要求1所述的监控图像多类物体检测与识别方法，其特征在于：步骤2中的训练集与验证集的比例为4∶1。

3.根据权利要求1所述的监控图像多类物体检测与识别方法，其特征在于：步骤6具体是：先用SqueezeNet1.0的预训练模型进行训练，训练次数为20万次，得到一个模型；然后用得到的模型重新训练40万次。

4.根据权利要求1所述的监控图像多类物体检测与识别方法，其特征在于：步骤7中的输出包括检测到的物体数量，以及每个物体的位置、类别和置信度。