[发明专利]一种基于改良区域回归的行人检测方法

摘要

本发明公开了一种基于改良区域回归的行人检测方法，包括标记训练样本；构建包括卷积特征提取、语义分割层、分类层和区域回归层的区域生成网络，利用训练样本迭代更新其参数；构建包括卷积特征提取、语义分割层和分类层的深度卷积神经网络，利用前一步获取到的多个候选区域迭代更新其参数；获取待检测行人的图像；将待检测图像输入训练好的区域生成网络，得到多个候选区域及每个候选区域p被预测为行人和背景的置信度评分；将前一步得到的多个候选区域，选择前Ntop个输入训练好的深度卷积神经网络，得到每个候选区域q被预测为行人和背景的置信度评分；融合前两步的结果，得到候选区域q被预测为行人的概率。该方法通过融合多网络输出，能够提供端到端的行人检测方案。

主权项

1.一种基于改良区域回归的行人检测方法，其特征在于，包括如下步骤：(1)采用若干包含行人的图像作为训练样本，在训练样本图像中用矩形框标记行人，所述矩形框为标记包围盒；(2)构建区域生成网络，所述区域生成网络包括卷积特征提取、语义分割层、分类层和区域回归层；将训练样本输入所述区域生成网络中，通过最小化区域生成网络的损失函数来迭代更新区域生成网络的参数，直至区域生成网络的损失函数达到预设的收敛条件，得到训练好的区域生成网络、多个候选区域及每个候选区域被预测为行人和背景的置信度评分；所述区域生成网络的损失函数为区域生成网络中语义分割层、分类层和区域回归层损失函数的加权和；(3)构建深度卷积神经网络，所述深度卷积神经网络包括卷积特征提取、语义分割层和分类层；将步骤(2)获取到的多个候选区域，选择被预测为行人的置信度评分最高的前Ntop个作为深度卷积神经网络的输入，通过最小化深度卷积神经网络的损失函数来迭代更新深度卷积神经网络的参数，直至深度卷积神经网络的损失函数达到预设的收敛条件，得到训练好的深度卷积神经网络、Ntop个候选区域中每个候选区域被预测为行人和背景的置信度评分；所述深度卷积神经网络的损失函数为深度卷积神经网络中语义分割层和分类层损失函数的加权和；(4)获取待检测行人的图像，将其预处理，使其大小匹配区域生成网络输入图片的大小；(5)将预处理后的待检测图像输入步骤(2)训练好的区域生成网络，得到多个候选区域及每个候选区域p被预测为行人和背景的置信度评分，记为[p,rpn_score1,rpn_score0]；其中rpn_score1为区域p被预测为行人的置信度评分，rpn_score0为区域p被预测为背景的置信度评分；(6)将步骤(5)得到的多个候选区域，选择被预测为行人的置信度评分最高的前Ntop个输入步骤(3)训练好的深度卷积神经网络，进行进一步分类，得到每个候选区域q被预测为行人和背景的置信度评分，记为[q,cnn_score1,cnn_score0]；其中cnn_score1为区域q被预测为行人的置信度评分，cnn_score0为区域q被预测为背景的置信度评分；(7)融合区域候选网络和深度卷积神经网络的结果，得到候选区域q被预测为行人的概率fusionscore(q)：其中rpn_scoreq1为区域q在区域候选网络中被预测为行人的置信度评分，rpn_scoreq0为区域q在区域候选网络中被预测为背景的置信度评分；cnn_scoreq1为区域q在深度卷积神经网络中被预测为行人的置信度评分，cnn_scoreq0为区域q在深度卷积神经网络中被预测为背景的置信度评分。