[发明专利]一种基于轨迹关联学习的弱监督行人重识别方法

权利要求书

1.一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于，具体包括如下步骤：

S1：构建弱监督行人重识别数据集，数据集由视频片段组成，视频片段包括多条行人轨迹和多张行人图像，给行人图像贴上弱标签；

S2：在数据集上进行预训练，获得行人重识别预训练网络模型，在网络模型的骨干网络上添加全连接层，提取每张行人图像的特征组成特征矩阵；

S3：捕获样本内行人图像与行人身份间的关系，对于视频片段中行人图像通过全连接层得到对应特征矩阵，将得到的特征矩阵输入到分类器中，分类器输出行人图像的身份预测的概率，并根据身份预测概率和弱标签求得数值最高的索引，将该索引作为伪标签分配给相应的行人图像；

S4：对每个行人图像进行特征学习，获取每个行人的轨迹特征，根据伪标签和行人轨迹得到每条轨迹的识别率，通过识别率为弱标签的每个行人身份选择一个有效的轨迹，在伪标签的监督下，通过行人重识别模型，获取每个行人的轨迹特征；

S5：挖掘样本间行人图像与行人身份的潜在关系，通过两个不同的视频片段得到样本间行人轨迹的损失函数；通过该损失函数，训练行人重识别模型，训练后的行人重识别模型可获取样本间行人图像和行人身份的潜在关系；

S6：模型训练，基于弱标签建立弱监督轨迹关联学习行人重识别模型，在带有弱标签的数据集上训练该模型；

S7：进行弱监督测试，通过轨迹-视频重识别和轨迹-轨迹重识别两个评估策略，评估弱监督轨迹关联学习行人重识别模型的性能。

2.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S1中，构建数据集的具体内容为：在第n个视频片段中选取所有轨迹中图像的集合，记为作为弱监督样本，模拟从第n个视频片段中获取的所有行人图像的集合，记为且给B_n贴上C维的弱标签向量，记为y_n∈{0,1}^C，得到弱监督行人重识别数据集，记为其中N表示视频片段的数量，K表示行人图像的数量，T_n表示第n个视频片段中轨迹的数量，S_n,t表示第n个视频片段的第t条轨迹的所有行人图像的集合，t∈(1，T_n)，I_n,k表示第n个视频片段的第k张行人图像，N(S_n,t)表示与轨迹S_n,t对应的行人图像的索引集合。

3.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S2中，具体内容为：将Resnet-50作为行人重识别预训练网络模型的骨干网络，基于ImageNet数据集得到预训练的Resnet-50模型，输入弱监督行人重识别数据集在骨干网络上加上一个d维的全连接层作为特征提取器，提取B_n中K_n张行人图像对应的特征组成一个特征矩阵，记为

4.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S3中，得到伪标签的具体过程为：对于第n个视频片段中K_n张行人图像通过特征提取器得到相应的特征矩阵X_n，将相应的特征矩阵X_n输入到分类器f(·,θ)，然后使用softmax函数输出行人图像的身份预测的概率，记为将和真值视频级弱标签进行元素级的乘积操作，分配数值最高的索引作为相应行人图像的伪标签表示在该视频片段中最可能对应的身份；其中θ为分类器的参数，X_n,k表示第n个视频片段的第k张行人图像的特征向量。

5.根据权利要求1所述的一种基于轨迹关联学习的弱监督行人重识别方法，其特征在于S4中，根据伪标签和行人轨迹s_n，t得到每条轨迹的识别率r，通过识别率r为弱标签的每个行人身份选择一个有效的轨迹s_n，k训练出行人重识别模型，在伪标签的监督下，通过行人重识别模型，获取每个行人的轨迹特征；有效的轨迹s_n,k会在下一次训练迭代时动态更新。