[发明专利]基于CSP模型的多级特征融合行人检测方法

说明书

一种基于CSP模型的多级特征融合行人检测方法，采用CSP架构，使用CNN提取行人特征，然后网络分为3支分别预测目标中心点、目标高度和中心点偏移量，图像预处理后，使用PyconvResNet‑101作为特征提取网络从输入图像中提取特征图，将所得的不同阶段的特征图进行多级融合后得到最终的特征图送入预测网络，预测网络使用Focal Loss和Smooth L1进行训练，预测图中目标中心点、目标高度和中心点偏移量并生成目标检测框，使用非极大值抑制算法去除冗余的检测框得到最终的检测结果。本发明可充分融合高层特征图丰富的语义信息和低层特征图丰富的位置信息，有效减少小目标和严重遮挡情况下的误检和漏检。

技术领域

本发明涉及计算机视觉和目标检测领域，具体涉及一种面向视频的行人检测方法。

背景技术

计算机视觉一直是计算机科学中研究的热点和难点，而行人检测作为目标检测的子任务，已经成为计算机视觉领域中非常重要的研究问题。近几年来，卷积神经网络(CNN)在计算机视觉和目标检测领域体现出了强大的能力。许多基于CNN的通用目标检测方法的提出促进了行人检测方向的研究与应用进展。但是目前行人检测技术依然具有很大的提升空间。主要问题在于小目标和被严重遮挡的目标的特征信息难以被提取从而导致漏检和误检。CSP(Center and Scale Prediction)是2019年提出的一种行人检测算法，通过CNN学习行人特征，预测行人目标的中心点坐标和尺寸信息完成行人检测任务。

发明内容

针对行人检测中的由于小目标和严重遮挡造成的漏检误检问题，本发明提出了一种基于CSP模型的多级特征融合行人检测方法，该方法可充分融合高层特征图丰富的语义信息和低层特征图丰富的位置信息，有效减少小目标和严重遮挡情况下的误检和漏检。

一种基于CSP模型的多级特征融合行人检测方法，包括：

步骤1，采用CSP架构，使用CNN提取行人特征，然后网络分为3支分别预测目标中心点、目标高度和中心点偏移量，在训练阶段，对训练图像进行预处理后输入网络，所述预处理包括将图像尺寸调整到设定像素，对图像进行随机剪裁并调整亮度，使用PyconvResNet-101作为特征提取网络来提取行人特征，取PyconvResNet-101网络阶段二、阶段三、阶段四和阶段五得到的4张特征图进行多级融合得到最终特征图，最终特征图的通道数为1024，使用随机擦除数据增强对训练数据进行扩充，对目标中心点、目标高度和中心点偏移量使用Focal Loss和Smooth L1进行训练；

步骤2，将获得的最终特征图送入后续预测网络，预测网络首先使用一个3*3的卷积将最终特征图的通道数调整为2ⁿ，n为正整数，3≤n≤9，然后使用两个1*1的卷积和一个2*2的卷积分别对目标中心点、目标高度和中心点偏移量进行预测并生成目标检测框，使用非极大值抑制算法去除冗余的检测框得到最终的检测结果；

步骤3，在测试阶段，将测试图像调整成特定尺寸后输入网络，将得到的特征图进行多级融合后送入预测网络，预测网络输出目标的中心点、目标的高度和目标中心点的偏移量，目标宽度由目标高度乘系数得到。

进一步，所述步骤1的过程为：使用PyconvResNet-101网络中阶段二、阶段三、阶段四和阶段五的最后一张特征图p₂,p₃,p₄和p₅进行多级融合，其中p₂,p₃,p₄和p₅分别为输入图像的宽高分别下采样4倍、8倍、16倍和32倍所得，多级融合的步骤为：