[发明专利]一种基于对比学习的相机内有监督跨相机行人重识别方法

权利要求书

1.一种基于对比学习的相机内有监督跨相机行人重识别方法，其特征在于，方法包括：

(1)在同一场景区域采用多相机进行拍摄采集，每个相机拍摄的图片组成子图片集，由多个相机拍摄的子图片集组成待训练的行人图片集，对待训练的行人图片集处理获得每个图片的伪标签h；

(2)将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练，训练过程使用ADAM优化算法，使用渐进对比损失函数进行监督；

(3)重复所述步骤(2)直至达到预设的批次训练数量num_batch，作为一个训练周期；

(4)重复所述步骤(2)-(3)进行多次训练周期的训练，将多次训练周期的训练过程分为两个阶段，对参考网络模型进行迭代优化，直至迭代次数达到预设的训练迭代次总数num_epoch；

(5)训练结束后，对训练所得的基础网络模型进行跨相机行人重识别应用；

所述步骤(1)具体为：

(1.1)分别独立地对每个子图片集中标注每张图片的行人局部标签y和相机标签c，并根据每张图片的局部标签y和相机标签c处理获得每张图片的全局标签z；

(1.2)采用基础网络模型并预训练后修改获得参考网络模型，将待训练的行人图片集，构造行人记忆特征矩阵K并将其中的各个元素全零初始化，行人记忆特征矩阵的第p行表示全局标签的值为p的行人特征；

(1.3)对待训练的行人图片集，使用参考网络模型提取每张图片的图片特征，对具有相同全局标签z_k的所有图片的图片特征进行平均，得到全局标签等于z_k的行人的最新平均特征，进而得到各个行人的最新平均特征；

(1.4)以每个行人作为一个节点构造带权重的行人图，并采用基于相机内有监督约束的图分割方法将行人图划分成若干个子图，其中每个子图中有若干个行人的节点，对各个子图中的行人赋上伪标签h；

所述步骤(1.4)中，以一个同相机标注行人作为一个节点，节点间通过边连接，以同相机标注行人间的不相似度作为边，从而构造带权重的行人图，表示为：

ε＝{e_ij|i，j∈{1，2，...，N}}

W＝{w(e_ij)|i，j∈{1，2，...，N}}

其中，表示所构造带权重的行人图包含的数据；表示所有节点的集合，每个节点表示一个同相机标注行人；ε＝{e_ij|i，j∈{1，2，...，N}}表示节点之间的边的集合，＜＞表示集合，C表示相机标签的集合，W表示节点间的不相似度的集合；e_ij表示同相机标注行人i和同相机标注行人j所在节点之间的边，w(e_ij)表示同相机标注行人i和同相机标注行人j之间的不相似度；

行人图中，节点之间的边e_ij表示为：

Dist(i，j)＝＝||f^a(i)-f^a(j)||

其中，∧表示交集，T1代表预先设定的距离阈值，c(i)代表同相机标注行人i的相机标签；Dist(i，j)表示同相机标注行人i和同相机标注行人j之间的欧氏距离，f^a(i)和f^a(j)分别代表同相机标注行人i的最新平均特征和同相机标注行人j的最新平均特征，||*||代表欧氏距离；

基于同相机有监督约束的图分割方法具体为执行以下步骤：

S1、输入带权重的行人图

S2、设置分割结果PT和队列，分割结果PT为一个集合，由多个节点组构成，队列由多个边构成；

S3、初始化一个队列为空队列，初始化行人图的分割结果PT为空集，

S4、将所有不相似度不等于0所在的边，按照不相似度从小到大进行排序，并依次放入队列中；

S5、每次从队列中取出一条边，进行以下判断：

如果边中的两个节点i和j均不在分割结果PT所包含的任一个节点组中，则创建一个新的节点组G＝{i，j}，并把新的节点组G加入分割结果PT中；

如果边中的两个节点i和j中，有一个节点i在分割结果PT所包含的某个节点组G_p中，另一个节点j不在，则判断另一个节点j对应的相机c(j)是否与节点组G_p中所有节点对应的相机集合c(G_p)有交集：

如果没有交集，则把另一个节点j加入节点组G_p中；

如果有交集，则不作处理；

如果边中的两个节点i和j分别在分割结果PT中的两个节点组G_p和G_q中：判断两个节点组中各自所有节点对应的相机集合c(G_p)和c(G_q)之间是否有交集：

如果没有交集，就把集合G_p和G_q合并成一个集合；

如果有交集，则不作处理；

S6、重复S5直至队列为空，遍历了队列中的每个边；

S7、输出行人图的分割结果PT，分割结果PT所包含的每个节点组作为一个子图，同一节点组中各个节点所代表的同相机标注行人均分配相同的伪标签h，不同节点组中节点所代表的同相机标注行人分配不同的伪标签h；

所述步骤(2)中，用来监督网络训练的渐进对比损失函数L设置为：

S(p，x_k)＝K[p]^Tf(x_k)/τ

其中，exp(*)是指数函数，S(p，x_i)表示同相机标注行人p所对应的行人记忆特征K[p]和输入图像的特征f(x_i)之间的相似度，f(x_k)表示第k个图片x_i输入到参考网络模型的图片特征f，K[p]表示行人记忆特征矩阵的第p行；τ表示尺度变换因子；P_k和N_k分别表示第k个图片x_i所对应的正、负关联行人集合，v表示正关联行人集合P_k中的元素，u表示负关联行人集合N_k中的元素；B表示每个小批次中随机采样的图片数量。