[发明专利]一种基于不确定性优化的行人再辨识方法

权利要求书

1.一种基于不确定性优化的行人再辨识方法，其特征在于，包括以下步骤：

1)使用孪生网络结构，将两个属于相同或不同行人的原始图像分别作为两个同构网络的输入；

2)孪生网络结构中的每个网络结构设计为贝叶斯卷积神经网络，所述贝叶斯卷积神经网络采用inception网络和Dropout层叠加的方式构成，作为特征提取网络；

3)根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化；

4)将待辨识行人图像和所有比对图像输入训练好的模型，提取图像特征；

5)利用欧式距离计算公式，获取待辨识行人图像和比对图像之间的最终距离6)根据特征相似度距离进行排序，获取与待辨识行人对应的对比图像匹配排序；

所述的步骤1)输入设计具体包括以下步骤：

11)从行人图像中任意取两个图像，分成多个图片对，作为孪生网络的输入，假设训练数据集为{I₁,I₂…I_m}，则输入为{(P₁,L₁),(P₂L₂)…(P_nL_n)},P_i＝{I_j,I_k}(j≠km),L_i∈{0,1}，其中P为图像，L为标签，当L_i＝1时表示图片{I_j,I_k}属于同一行人，当L_i＝0时表示图片{I_j,I_k}属于不同行人；

12)将处理好的图片对进行裁剪和归一化，保证输入到网络中的图片大小一致，为了扩充样本，可以人为预先对数据集进行镜像，水平翻转操作；

所述的步骤2)中，将训练集图像输入贝叶斯卷积神经网络中进行训练，具体包括以下步骤：

21)网络使用Inception网络作为基本网络，将输入的图像裁剪为416*416后送入网络中进行特征提取，为了进行不确定性的优化，使用在每个卷积层和全连接层之前加入dropout层的方式，用于实现贝叶斯卷积神经网络；网络的参数使用在ImageNet图像数据集上预训练得到的权重进行初始化；对于每一组图片对(P_i,L_i),(P_jL_j)，经过贝叶斯卷积神经网络后，提取出各自的语义特征，公式表示为：其中，θ_Bayesian是贝叶斯卷积神经网络的权重，和是行人特征描述符；

22)具体的网络结构如下表所示：

所述的步骤3)中，根据孪生网络的特征输出，计算二分类损失和各自网络的多分类损失，叠加后用于网络的反向传播和参数优化，具体包括：

31)根据单个网络特征输出分别计算多分类损失L_{identification}，对两个输入(P_i,L_i)和(P_jL_j)的操作是相同的，以(P_i,L_i)为例，已经提取了特征描述符多分类损失的计算公式如下：

其中，r表示标签L_i，表示预测行人图像是r，θ_identif表示贝叶斯卷积神经网络参数，只有当图片分类到k时q_k＝1，否则q_k＝0；

32)根据孪生网络特征输出计算二分类损失L_verification；对两个输入(P_i,L_i)和(P_jL_j)，提取特征描述符二分类损失的计算公式如下：

其中，s表示两张图片标签相同/不同，表示两张图片相似度，θ_verif是贝叶斯卷积层的超参数，当两者图片属于同一行人时，p₁＝1,p₂＝0，否则p₁＝0,p₂＝1；

33)加权步骤31)和步骤32)中的两个损失函数，叠加后用于网络的反向传播和优化，叠加公式如下：L_fusion(θ,r,s)＝λL_verification+L_{identification}

参数λ设为3，在反向传播和优化过程中，使用随机梯度下降(SGD)算法调整模型参数，直到训练参数收敛；

所述的步骤5)中，欧式距离计算公式具体如下：

其中x_g表示待辨识图像，x_p表示单张比对图像，f(x_g)表示将待辨识图像x_g输入模型后得到的特征，f(x_p)表示将比对图像x_p输入模型后得到的特征。

2.根据权利要求1所述的一种基于深度学习和重叠图像块间度量的行人再辨识方法，其特征在于，所述的步骤4)中，将待辨识行人图像和所有比对图像输入训练好的模型，提取图像特征，具体包括；

41)将待辨识图像和所有比对图像大小调整统一；

42)将待辨识图像和所有比对图像依次输入训练好的基于多块重叠特征图像的深度学习神经网络模型，将贝叶斯卷积神经网络的全连接层输出作为输入图像的特征图像，大小为1024维。