[发明专利]一种基于双目视觉的串联通道融合行人检测方法

说明书

本发明公开了一种基于双目视觉的串联通道融合行人检测方法，该方法根据双目RGB图像生成视差图，构建一个卷积神经网络，把RGB图像通道和视差图通道串联作为卷积神经网络的输入，学习RGB图和视差图之间的互补关系，从卷积神经网络输出的检测结果中挑选出预测值大于设定值的部分，对该部分进行非极大值抑制，得到最终行人位置。由于RGB彩色图有丰富的颜色信息，视差图对光照有不变性，本发明把两者联合起来能使行人检测更加鲁棒、准确。

技术领域

本发明涉及行人检测方法研究领域，特别涉及一种基于双目视觉的串联通道融合行人检测方法。

背景技术

行人检测即从给定的图像中定位出行人的位置。人是社会的主体，因此行人检测也是众多目标检测任务中最常见的一个任务。同时，行人检测作为行人跟踪、行人重识别等高级视觉任务的一个基础环节，行人检测方法的发展对于跨摄像头行人跟踪、行人搜寻等应用的发展都有着重要的意义。譬如，基于一个好的行人检测结果，我们可以对行人位置进行跟踪，另外通过行人重识别技术，识别出该行人出现在另一个摄像头的哪个位置，从而实现行人的跨摄像头跟踪。这对公共场所监控及安全侦察有很大的作用，而跨摄像头行人跟踪的基础就是一个好的行人检测方法。目前行人检测已被广泛应用于公共场所安全监控、自动驾驶、行人跟踪统计等领域中，因此也越发引起了学术界和工业界的重视。

现有的行人检测方法主要有以下几类：

1、基于单张RGB图像的行人检测方法。参见Liu W,Anguelov D,Erhan D,etal.Ssd:Single shot multibox detector[C]//European conference on computervision.Springer,Cham,2016:21-37。该方法首先搭建一个卷积神经网络，把RGB图像输入到神经网络中，经过神经网络的前向传播运算，最后得到行人可能出现的位置，以及行人在每个位置的置信度，通过非极大值抑制和阈值筛选，得到最终行人区域。然而这种方法由于只使用了RGB图像，对于一些像人的图案，鲁棒性不高，容易产生误检。

2、基于前后帧运动信息的行人检测方法。参见吕楠，杨京雨，瞿研：基于边缘对称性的行人检测方法。国家发明专利，申请号：201310537558，申请日：2013.11.05。该方法中，利用前一帧与后一帧之间的差异提取运动边缘进行行人检测。即对于t时刻的输入图像，计算t时刻灰度图和t-1时刻灰度图的绝对差值，得到绝对差灰度图像g_t,同理再用t-1时刻灰度图和t-2时刻灰度图的绝对差值得到第二张绝对差灰度图像g_t-1，总的运动区域边缘灰度图G_t定义为g_t和g_t-1进行与操作的结果。得到前后帧运动区域的边缘图G_t后，根据边缘符不符合人体对称的特点，从而判断出图像中行人的位置。算法有很强的实时性，能过滤一些静止的物体。但对于静止不动的行人，无法提取出行人的边缘信息，也就难以检测出行人。

3、把双目RGB图像生成出来的视差图用于提取感兴趣区域，再在感兴趣区域上进行行人检测。参见，金志刚，赵明昕，苏毅姗：一种基于优化聚合积分通道的双目行人检测方法。国家发明专利，申请号：201610072439.4，申请日：2016.02.02。该方法中，输入一对RGB图像，先计算视差图。然后根据视差图进行粗细二阶段分割后，获取感兴趣区域。对每个感兴趣区域提取聚合积分通道特征，把特征输入到分类器进行分类，决定该感兴趣区域是否存在行人，最终定位出行人位置。视差图信息能看出物体的实际轮廓，因此可以剔除一些外形很像人的图案，降低RGB图像上行人检测的误检率。然而这种方法有以下几个弊端：1.没有利用卷积神经网络作为特征提取器和分类器，只用了传统的人工特征和分类器进行检测，特征的判别性会较弱；2.这种方法对每个感兴趣区域都要进行特征提取和分类，算法的时间复杂度较高；3.这种方法只是把视差图用在了感兴趣区域的提取上，在每个区域的行人检测过程仅仅使用了RGB图像信息，没有充分利用视差图的信息。