[发明专利]联合全局和局部信息的层次监督行人再识别方法及系统

权利要求书

1.一种联合全局和局部信息的层次监督行人再识别方法，其特征在于，包括：

S1：将输入图像切成多个图像小块，将所述图像小块作为Transformers分支网络的输入；

S2：将部分所述Transformers分支网络的网络快的特征信息通过expand层后引入ResNet50分支网络中对应的残差卷积块，所述expand层将2D张量拓展为4D张量；

S3：将拓展后的4D张量特征信息和对应的所述残差卷积块进行通道级联；

S4：将Transformers分支通过expand层转换后的特征和对应的ResNet50特征经过双线性池化层，进行特征融合交互，并通过损失函数进行约束。

2.根据权利要求1所述的行人再识别方法，其特征在于，所述Transformers分支网络包括12块同样结构的网络块，所述网络块的序号编号为0-11，所述输入图像被切为N个图像小块，其中，P和S的取值均为16，代表向下取整函数，H和W表示高度和宽度。

3.根据权利要求2所述的行人再识别方法，其特征在于，将序号编号为1、3、5、8的所述网络块的特征信息分别引入ResNet50中对应的残差卷积块。

4.根据权利要求1所述的行人再识别方法，其特征在于，所述S3具体为：将拓展后的4D张量特征信息和对应的残差卷积块进行通道级联，通道数增加为原来的2倍，为了使特征能正常送进下一个残差卷积块，采用1*1卷积将通道恢复，再经过BN层和ReLU激活函数，其表达式如下：其中，R代表ReLU激活函数，B代表BN层，C_1*1代表1*1卷积层，代表Transformers分支通过expand层转换后的特征，代表ResNet50的特征，i对应分支网络的序号，i＝0时，对应的Transformers分支序号为1的网络块特征，ResNet50的conv1。

5.根据权利要求4所述的行人再识别方法，其特征在于，所述S4的具体表达式如下：其中，(x，y)代表特征在位置(x，y)处的值，vec操作将矩阵变成向量，两个向量的外积，S代表常量。

6.根据权利要求1所述的行人再识别方法，其特征在于，所述损失函数包括三元组损失函数和标签平滑正则化的交叉熵损失函数，其中，所述三元组损失函数的公式为其中P代表不同行人身份的数量，K₀代表每个行人选择K₀张不同的图像，对于每张训练图像x_a，在和x_a相同身份的图像中选择一张相似度距离最大的图像x_p作为正样本，在和x_a不同身份的图像中选择一张相似度距离最小的图像x_n作为负样本，为认为设定的阈值，d(·,·)定义为欧式距离，batch表示批处理的参数大小；所述标签平滑正则化的交叉熵损失函数的公式为其中ε∈[0,1]，K是行人的类别数，p(k)代表预测属于类别k的概率。

7.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至6中任一项所述的方法。

8.一种联合全局和局部信息的层次监督行人再识别系统，其特征在于，所述系统包括：

图像切割模块：配置用于将输入图像切成多个图像小块，将所述图像小块作为Transformers分支网络的输入；

张量拓展模块：配置用于将部分所述Transformers分支网络的网络快的特征信息通过expand层后引入ResNet50分支网络中对应的残差卷积块，所述expand层将2D张量拓展为4D张量；

通道级联模块：配置用于将拓展后的4D张量特征信息和对应的所述残差卷积块进行通道级联；

特征融合模块：配置用于将Transformers分支通过expand层转换后的特征和对应的ResNet50特征经过双线性池化层，进行特征融合交互，并通过损失函数进行约束。