[发明专利]一种基于特征相似度度量和深度学习的车辆再识别方法

权利要求书

1.一种基于特征相似度度量和深度学习的车辆再识别方法，其特征在于：所述方法包括两个阶段：第一个阶段是基于半监督的跨域联合预训练，第二阶段则是预训练模型在目标域上的微调；

步骤A：在第一个阶段中，采用半监督的方式对模型进行预训练；将生成的图像与源域图像相结合并输送到预训练网络中；在这个过程中，提出了一种基于双重领域风格融合的伪标签重分配策略来研究目标域风格；

步骤B：在第二个阶段中，设计了更合理的特征相似度度量方法对提取到的目标样本特征进行度量；对提取的目标特征进行合理的划分以获得更多的特征分区，继而对这些特征分区分别地进行距离度量获得相似度结果。

2.根据权利要求1所述的一种基于特征相似度度量和深度学习的车辆再识别方法，其特征在于：所述步骤A具体包括：

①预训练过程中跨域的数据扩充

同时将已标记的源域数据和未标记的样本输入到待训练的CNN模型中；和表示第i个样本及其对应的标签；其中，数据集G(S)由风格迁移网络生成；

为了充分利用已标记的源域数据S和新生成的数据集G(S)的样本，采用半监督学习的方式对Re-ID模型进行预训练；利用标记的数据集S训练一个合适的学习者，并为未标记的样本G(S)分配伪标签；在整个预训练过程中，将风格传递网络生成的图像视为未标记数据；

对新生成的数据样本设计一个虚拟标签，使其具有源域和目标域的信息；

②基于双重领域风格融合的伪标签重分配策略

选择对目标域样本类型分配一定的权重，并使标签以软标签的形式存在；也就是说，风格迁移网络生成的新样本将会丢弃原有的ID，作为无标签集合G(S)参与半监督预训练并获得系统分配的软标签；同时，选择将一小部分权值分配给目标域中的标签种类；并且，将每个目标域图像作为一个单独的类来进行权值分布，它允许Re-ID模型捕捉明显的车辆表示；对于每一张未知图像，其权重分布如式(1)所示，

其中，i表示第i个未知样本，δ表示分配给该图片原始ID的权重,t表示正在计算权重的目标域的种类，为原始标签，属于第i个图像；l表示目标数据集中样本种类的数目；对于任意G(S)样本，对应的伪标签重分配过程的损失函数如式(2)

其中p(t)表示图片属于目标数据集中第t类样本的可能性；

将伪标签的重分配策略应用于①中的跨域数据增强策略；新样品放弃了硬标签，该标签阻碍了模型的目标域样式，并用作未标记的数据集G(S)；G(S)和S放置在预训练网络中，并以半监督的方式进行训练；未标记的样品获得了具有伪标签的重新分配策略的伪软标签，并用于优化预训练模型与源样本G(S)；基于上述分析，训练阶段中的总体损失函数表示为公式(3)：

L_Pre＝L_EC+L_PLR (3)

L_EC表示交叉熵损失函数；在整个预训练阶段，利用两类损失函数对训练模型进行优化；上述整体损失函数具体表示为(4)：

其中u为样本ID；u＝1表示样本u是真实的图像，反之则相反；p(u)表示图片属于目标数据集中第t类样本的可能性。

3.根据权利要求2所述的一种基于特征相似度度量和深度学习的车辆再识别方法，其特征在于：所述步骤B具体包括：

设计了一种计算距离相似度的重叠特征重排序方法，表示通过CNN从目标数据集T中提取的特征；给定每幅图像i，表示从数据集T的第i张图片中提取的特征，将分为N部分分区特征计算(第c个分区的特征)与每幅图像对应的分区之间的距离相似度；

该方法没有将特征划分为完全独立的分区，而是将特征交叉分割为N个部分；即相邻分区之间存在重叠区域；通过以上方法，Re-ID模型在进行特征划分时，仍能更大程度地保留特征之间的关系，挖掘出更多特征之间的相似性；各分区对应的相似度向量如式(5)所示；

其中表示为与计算的相似度值，表示第i张图片的第d个分区的特征，表示第j张图片的第d个分区的特征，表示从第i幅图像中划分d与其他样本特征的划分d之间的相似度向量；最后融合各部分的特征相似度，得到最终的特征相似度；同时，为了保证伪标签的准确性，将未分割特征计算的相似度加入到最终的特征相似度中；总相似度向量如式(6)所示；

S_total＝S_ori+S₁+S₂+…+S_l (6)

S_i表示P个特征分区相似度融合的第i个图像相似度结果；S_ori表示的是基于第i幅图像的未分割特征计算出的相似度；在微调阶段，利用常用的交叉熵损失函数对网络进行优化；因此，所提框架的总损失函数如式(7)；

L＝L_Train+L_Pre (7)

其中，L_Train代表着正式训练过程中的损失。