[发明专利]一种基于双目视觉的串联通道融合行人检测方法

权利要求书

1.一种基于双目视觉的串联通道融合行人检测方法，其特征在于，包括步骤：根据双目RGB图像生成视差图，构建一个卷积神经网络，把RGB图像通道和视差图通道串联作为卷积神经网络的输入，学习RGB图和视差图之间的互补关系，从卷积神经网络输出的检测结果中挑选出预测值大于设定值的部分，对该部分进行非极大值抑制，得到最终行人位置。

2.根据权利要求1所述的基于双目视觉的串联通道融合行人检测方法，其特征在于，所述基于双目视觉的串联通道融合行人检测方法还包括双目相机标定预处理步骤，该步骤是：

(1-1)制作一个Z×Z的黑白棋盘格，用双目相机从不同角度拍摄该棋盘格M组照片，拍摄时棋盘格必须同时完整地出现在左右两个摄像头的视野中；

(1-2)根据标定拍摄到的M组照片，用Matlab的标定工具包TOOLBOX_calib进行相机的标定，最终得到左右摄像头x方向和y方向的焦距左右摄像头的成像中心坐标左右摄像头的畸变参数d′₁,d′₂，以及左右摄像头之间的旋转矩阵R和平移向量T。

3.根据权利要求2所述的基于双目视觉的串联通道融合行人检测方法，其特征在于，所述基于双目视觉的串联通道融合行人检测方法还包括双目图像获取与校正步骤，该步骤是：

输入双目相机拍摄得到的两张图片I₁,I₂，根据双目相机标定预处理步骤得到的d′₁,d′₂,R,T,用opencv的stereoRectify函数进行图片校正，得到校正后的图片

4.根据权利要求1所述的基于双目视觉的串联通道融合行人检测方法，其特征在于，根据双目RGB图像生成视差图的步骤是：

输入两张校正后的图片根据SGBM算法生成视差图d，视差图d是一个单通道灰度图，灰度值为0-255；视差图记录着对于图片上每一点，左图和右图位置的偏差量。

5.根据权利要求1所述的基于双目视觉的串联通道融合行人检测方法，其特征在于，所述构建卷积神经网络的步骤是：

构建一个包含19个卷积层，15个激活层和5个抽取层的卷积神经网络；

卷积神经网络连接关系为：卷积层1-激活层1-卷积层2-激活层2-抽取层1-卷积层3-激活层3-卷积层4-激活层4-抽取层2-卷积层5-激活层5-卷积层6-激活层6-卷积层7-激活层7-抽取层3-卷积层8-激活层8-卷积层9-激活层9-卷积层10-激活层10-抽取层4-卷积层11-激活层11-卷积层12-激活层12-卷积层13-激活层13-抽取层5-卷积层14-激活层14-卷积层15-激活层15，激活层10-卷积层16，激活层10-卷积层17，激活层15-卷积层18，激活层15-卷积层19；

把RGB图像通道和视差图通道串联作为卷积神经网络的输入，经过前向传播计算后，输出每个检测候选框的左上角横坐标、纵坐标、宽、高，每个检测候选框内存在行人的概率。

6.根据权利要求1所述的基于双目视觉的串联通道融合行人检测方法，其特征在于，所述进行非极大值抑制的步骤是：

设预测值大于设定值的部分为

初始化：令

a)从中挑选出存在行人概率最大的候选框B_max,查找中除了B_max以外，其它与B_max交并比超过P的候选框，组成若不是空集，则将中的候选框从中剔除；

b)将B_max从中剔除，同时将B_max加入中，若不为空集，则执行步骤a)，否则执行步骤c)；

c)即最终行人的检测结果，其中k＝1,…,K，K<＝N。