[发明专利]一种结合密度估计的拥挤场景行人检测方法

权利要求书

1.一种结合密度估计的拥挤场景行人检测方法，其特征在于，包括：

采集图像，点标注图像中行人头部位置，框标注图像中行人区域形成边界框；

搭建卷积神经网络行人检测模型，所搭建的行人检测模型包括用于提取图像特征的骨干网络模块、用于估计人群密度的密度估计模块、用于得出行人分类结果S和回归结果B的行人检测模块，通过骨干网络模块提取所述图像的特征图F，将骨干网络模块提取的特征图F与密度估计模块输出的预测密度图D_1/8进行软连接从而得到新的特征图I作为行人检测模块的输入，通过行人检测模块得到分类结果S和回归结果B；

用预测密度图D_1/8经过双线性插值获得人群密度图D，基于所述人群密度图D及所述回归结果B，动态计算非极大值抑制阈值；

将边界框基于所述非极大值抑制阈值进行非极大值抑制，得到行人检测结果；

根据图像标注生成对应的密度图D_gt，训练卷积神经网络行人检测模型时，使用生成的密度图D_gt作为密度估计模块的监督信号，计算密度估计损失，使用框标注和点标注作为行人检测模块的监督信号，计算行人检测损失，神经网络最终损失是两者的加权损失，当模型收敛时保存模型参数，用所保存模型参数对模型进行参数设定；

动态计算非极大值抑制阈值的方式进一步包括：结合密度图D，根据公式动态计算非极大值抑制阈值，所述公式为：

式中，t为局部区域人数，计算方式为：

w_min＝max(w_l-0.5w_l,0)

w_max＝min(w_r+0.5w_r,W)

h_min＝max(h_t-0.5h_t，0)

h_max＝min(h_b+0.5h_b,H)

t＝sum(D[w_min:w_max,h_min:h_max])

其中，sum为逐像素求和操作，即对行人预测框扩大之后对该区域的密度图求和得出行人预测框邻近区域的人数，w_l,w_r,h_t,h_b为行人检测模块边界框回归结果，W、H为设定值。

2.如权利要求1所述的方法，其特征在于：所述骨干网络模块使用VGG16模型，VGG16模型在ImageNet数据集上进行预训练，之后去除网络最后的softmax分类层以及全连接层，作为骨干网络，且分别在stage3、stage4、stage5输出尺寸大小为原图1/8、1/16、1/32的特征图。

3.如权利要求2所述的方法，其特征在于，所述密度估计模块输出预测密度图D_1/8的方式进一步包括：将stage4的特征图经过卷积核3*3，步长为2的反卷积得到大小为原图1/8的特征图，将stage5的特征图经过两次卷积核为2，步长为2的反卷积得到大小为原图1/8的特征图，并与stage3输出的特征图进行拼接，得到新的特征图之后经过两层3*3卷积，得到预测密度图D_1/8。

4.如权利要求2或3所述的方法，其特征在于，所述软连接的方式进一步包括：将预测密度图D_1/8与大小为原图1/8、1/16、1/32的特征图进行软连接，软连接公式为In＝fn((1+Rn(D_1/8))×Fn)，从而得到特征图I₁、I₂、I₃作为行人检测模块输入，其中，n为自然数，fn是步长为2^n-1的3*3卷积，Rn作用是使得D_1/8与Fn尺寸一致。

5.如权利要求1所述的方法，其特征在于：所述行人检测模块使用PANNET结构，分类损失使用交叉熵损失，回归损失使用L2损失，其输入为特征图I，输出为分类结果S和回归结果B。