[发明专利]一种基于深度学习的监控图像多类物体检测与识别方法

摘要

本发明公开了一种基于深度学习的监控图像多类物体检测与识别方法。本发明通过利用已公开的SSD深度学习检测框架，在此框架上重新设计网络结构及相应的各种参数，使其能够快速地检测到监控视频图像中受关注的物体。相对传统的图像处理方法来说，本发明采用深度学习能够自动学习更有效更丰富的特征，从而具有较高的鲁棒性。相对其他深度学习方法来说，本发明利用采用一些轻量的网络模块，重新设计目标函数，并引入了残差模块及概率热力图，从而保持了速度与性能上的优势。总得说来，本发明的方法能高效快速检测到图像中的感兴趣物体，并且能够被推广到更通用的物体检测领域。

主权项

一种基于深度学习的监控图像多类物体检测与识别方法，其特征在于该方法包括以下步骤：步骤1、收集不同地方的道路、小区监控视频图像数据，标注感兴趣的物体；步骤2、把步骤1中标注信息转成SSD支持的xml标注格式并准备训练所需要labelmap.prototxt以及val_name_size.txt，按一定的比例分为训练集与验证集；步骤3、设计训练网络：3a).结合VGG，SqueezeNet, ResNet网络重新设计网络：用SqueezeNet的网络替换原VGG网络Conv1～Conv5；用1x3, 3x1的网络取代原始VGG网络3x3的部分；在原始VGG网络Conv6～Conv8中非提取框的卷积层引入ResNet模块；3b).统计所有标注的信息，设置不同提取框的特征层的aspect_ratio；步骤4、根据步骤3b的统计及实际应用需求，按WxH的大小生成leveldb/lmdb的数据库格式用于训练；步骤5、设计loss函数：其中：分别表示属于某个类别的概率、预测框、真实框以及预测框与真实框匹配的标记；N表示与标注框匹配的数量；为定位损失函数；表示分类损失函数；定义分类损失函数如下：表示不同类别的权重，其计算公式为表示类别为的数量， M为总的框的数量；步骤6、利用Caffe‑SSD检测框架以上一步提出的函数为优化目标训练检测分类器；步骤7、利用步骤6训练得到的检测分类器模型，输入测试图片或视频的一帧，再做同类别间的非极大值抑制，得到每一图像/帧的输出；步骤8、统计训练集中每个类别在图像中出现的概率，得到每一类别在缩放图像上的概率热力图；步骤9、利用步骤8得到的概率热力图重新计算每一类别的置信度的值，然后再利用非极大值抑制合并不同类别的框；步骤10、根据实际情况对不同类别设计不同的置信度阈值，把低于本类置信度阈值的结果过滤掉，从而得到最终的输出结果。