[发明专利]一种基于行人区域特征提取和重识别融合模型网络及方法

说明书

本发明公开了一种基于行人区域特征提取和重识别融合模型网络及方法，它包括：区域提取模块：用于根据全局特征图搜索行人出现的区域，并从中生成提取区域，以获得行人目标的检测结果并对这些提取区域的特征进行收集和整合处理。通过一个深度卷积神经网络即可实现对行人特征的提取和识别，并通过区域特征的提取避免了在原场景图片中对行人图片的截图、存储和预处理操作，使得整体网络处理速度更加快速，整体网络模型体积更小，能够部署到硬件条件更低的环境中。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于行人区域特征提取和重识别融合模型网络及方法。

背景技术

作为图像理解和计算机视觉的基石，目标检测构成了解决更复杂或更高级视觉任务的基础，例如分割，场景理解，对象跟踪，图像捕获，事件检测和活动识别等。目标检测在人工智能和信息技术的许多领域具有广泛的应用，包括机器人视觉，消费电子，安全，自动驾驶，人机交互，基于内容的图像检索，智能视频监控和虚拟现实。

行人重识别(ReID)是指从不同摄像机捕获的行人图像中识别这个行人的身份。给定包含目标行人(查询)的图像，ReID系统尝试从大量行人图像(图库)中搜索包括相同行人的图像。ReID因其广泛的应用潜力，例如视频监控和交叉相机跟踪而受到学术界和工业界的极大关注。然而，由于大量不受控制的变化源，例如姿势和视点的显着变化，照明的复杂变化以及较差的图像质量，ReID仍然是一项非常具有挑战性的任务。

现有的行人重识别应用，需要首先对场景中的行人进行目标检测，通常可以使用FasterRcnn以及YOLO等检测器，获取到场景中的行人框图后，再从场景图片中截取行人图片，再输入行人重识别网络进行特征提取。而这些步骤中一共使用了2个完整的深度卷积神经网络，一共包含了2个深层的主干网络提取特征图，会消耗大量的计算资源和时间，导致整个模型网络的识别周期加长，而在真正应用过程中对行人的行为及时准确的做出识别判断是非常重要的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于行人区域特征提取和重识别融合模型网络及方法，通过一个深度卷积神经网络即可达到目的，解决了现目前通过采用两个深度卷积神经网络所存在的问题。

本发明的目的是通过以下技术方案来实现的：一种基于行人区域特征提取和重识别融合模型网络，它包括：

区域提取模块：用于根据全局特征图搜索行人出现的区域，并从中生成提取区域，以获得行人目标的检测结果并对这些提取区域的特征进行收集和整合处理。

所述模型网络还包括骨干网络模块和行人重识别模块；所述骨干网络模块对输入的原图进行预处理得到全局特征图后输入到所述区域提取模块；所述行人重识别模块根据所述区域提取模块的输出结果进行特征提取，并根据场景中行人的不同特征识别出行人目标的行为。

所述区域提取模块包括行人区域特征选择单元和行人特征提取单元；

所述行人特征选择单元用于根据所述骨干网络模块输出的全局特征图搜索预测有行人的区域，并对行人区域进行框图标注和筛选以及区域特征提取，得到局部区域特征图；

所述行人区域特征提取单元对多个局部区域特征图进行合并以及3×3卷积操作处理，得到特征向量输入到所述行人重识别模块。

所述行人区域特征选择单元包括有框图预测全连接层、置信度全连接层、目标筛选层和区域特征图提取层。

所述行人特征提取单元包括变形、第一标识块、第二标识块、第三标识块、ROIPool操作和特征映射。

在模型网络建立好后通过采用知识蒸馏的训练策略对模型网络进行训练。

一种基于行人区域特征提取和重识别融合模型网络的融合方法，所述融合方法包括区域提取特征图进行目标检测步骤；所述区域提取特征图进行目标检测步骤包括以下内容：