[发明专利]基于时序多样性与相关性的行人重识别模型训练和识别方法与装置

说明书

本发明提出一种基于时序多样性与相关性的行人重识别模型训练方法，包括以下步骤：获取训练样本数据，所述训练样本数据包括多个包含行人的视频序列；将所述训练样本数据输入至初始模型中采样各所述包含行人的视频序列的多帧视频，并且提取所述多帧视频的帧级别特征，聚合所述帧级别特征得到视频级别特征；基于所述视频级别特征计算视频级别损失；基于所述视频级别损失对所述初始模型的模型参数进行优化，得到行人重识别模型。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于时序多样性与相关性的行人重识别模型训练和识别方法与装置。

背景技术

近些年，随着深度学习的高速发展，卷积神经网络(Convolutional NeuralNetwork,CNNs)在人工智能与计算机视觉领域取得了巨大的进展。其中，行人重识别是计算机视觉中的基础任务，在视频监控、安防等领域有着广泛的应用，然而，由于光照变化、视角变化、行人遮挡、行人图像不对齐等因素，行人重识别技术仍然面临巨大的挑战。基于图像的行人重识别技术近年来取得了不错的发展，但是由于图像本身表达信息能力有限，在实际应用中无法取得理想的效果。基于视频的行人重识别可以利用视频序列中的时序信息，可以更加全面地表达行人完整的特征，在实际应用中往往效果更佳。

视频行人重识别领域的巨大进展主要是由人工简历的大规模行人重识别数据集推动。现有的基于视频的行人重识别技术无法充分利用时序线索信息，过多关注了视频帧之间共享区域的相关性，而忽略了非共享区域的多样性，这使得提取到的行人特征区分力不足，特征表达能力有限。这些方法在模型早期便进行多帧之间的特征聚合，这会导致模型过多关注时序特征之间的相关性，而忽略了时序特征之间的多样性，并且提取到的行人特征在遮挡场景下鲁棒性不高，过多关注于背景区域，而无法关注到具体的行人。

发明内容

针对现有技术的不足，本发明的主要目的在于提出一种基于时序多样性与相关性的行人重识别模型训练和识别方法与装置，能够提取到具备区分力和鲁棒性的特征，实现行人的快速准确检索。

为了实现上述目的，本发明提出一种基于时序多样性与相关性的行人重识别模型训练方法，包括：

步骤1、获取训练样本数据，所述训练样本数据包括多个包含行人的视频序列；步骤2、将所述训练样本数据输入至初始模型中采样各所述包含行人的视频序列的多帧视频，并且提取所述多帧视频的帧级别特征，聚合所述帧级别特征得到视频级别特征；步骤3、基于所述视频级别特征计算视频级别损失；步骤4、基于所述视频级别损失对所述初始模型的模型参数进行优化，得到行人重识别模型；

其中，所述步骤2通过如下的计算公式进行聚合所述帧级别特征得到视频级别特征：

f_g＝W·X

其中，X表示帧级别特征，f_g表示视频级别特征，W表示帧级别特征的时序注意力掩码。

上述的模型训练方法，所述步骤2还包括：

步骤21、对所述帧级别特征进行时序均值池化得到时序全局特征；步骤22、将所述帧级别特征和所述时序全局特征经过分别独立的1×1卷积层以进行降维；步骤23、对降维后的所述时序全局特征进行时序均值池化，得到所述视频序列的全局特征；步骤24、利用全局通道维度信息作为指导，得到每一所述多帧视频空间位置的注意力机制指导；步骤25、利用所述注意力机制指导获取对应所述帧级别特征的多样性特征，以得到增强的所述帧级别特征；

所述步骤23及所述步骤24通过如下公式进行：

其中，φ_c表示注意力机制指导，GAP表示全局均值池化，ζ表示Softmax操作，X′和X′_g分别表示降维后的帧级别特征；

所述步骤25通过如下公式进行：