[发明专利]一种用于行人重识别的将神经网络模块化的行人深度特征融合方法

说明书

一种用于行人重识别的将神经网络模块化的行人深度特征融合方法，实现了适用于不同神经网络和损失函数的基于深度学习的行人重识别方法，同时本发明实现了对不同神经网络结构不同深度的特征融合。从而使得应用于行人重识别的特征融合方法更具有灵活性和鲁棒性，提高了行人重识别准确率，减弱监控视角变化等因素对行人重识别的干扰。采用了Resnet50网络和用于行人重识别的多粒度网络(Multiple Granularities Network，MGN)作为参考算法，采用交叉熵损失、三元组损失和圆损失作为可供选择的损失函数。测试数据集分别采用Market‑1501，DukeMTMC‑reid和CUHK03数据集，在CUHK03数据集上，与参考算法MGN相比本发明获得了Rank‑1/mAP＝+2.71％/2.11％的提升。

技术领域

本发明涉及一种行人重识别方法，特别是一种更具有灵活性和鲁棒性的针对神经网络训练过程中不同深度的行人特征融合的行人重识别方法。

背景技术

行人重识别任务可以被看作图像检索的子任务，可以理解为在由多个不同摄像区域的摄像头所拍摄的视频或图像中搜索特定身份行人的任务。作为智能视频分析领域的新兴技术，行人重识别任务在安防和监控应用中起到十分重要的作用。行人重识别任务的本质是对图像或视频中的行人进行检测、跟踪以及特征分析，由于受到监控环境的影响，拍摄视角变化，拍摄环境差异，图像质量较差，人体姿态变化等因素都影响着行人重识别结果的准确率，随着计算机视觉技术和机器学习的快速发展，行人重识别任务中的许多关键问题都得到了十分有效的解决，行人重识别任务也逐渐成为了十分热门的研究方向。

尽管如此深度学习技术十分有效的提升了行人重识别的效率，但是由于相机视角变化和行人姿态变化带来的干扰，行人重识别问题仍存在很多的研究难点。由于不同摄像视角捕捉的同一行人的不同图片之间存在较大的差异性，所以考虑不同视角下的同一行人的特征融合是十分必要的。目前用于行人重识别的深度学习方法往往集中于用于分类问题的特征提取，不同视角下同一行人的特征学习往往通过损失函数的约束来达到相似度提升的目的。所以在网络训练的过程中进行有效的特征融合能够提升用于行人重识别的神经网络性能。目前常用的特征融合方法通常是将网络中某一个固定节点的特征进行融合，这种方法在应用的灵活性上有一定限制。

本发明提出一种用于行人重识别的将神经网络模块化的行人特征融合方法，使得应用于行人重识别的特征融合方法更具有灵活性和鲁棒性。该发明通过将神经网络模块化，实现了对从不同深度的网络提取出来的特征进行特征融合，将神经网络模块化关注了不同深度的网络特征对行人重识别的影响，同时能够更加便捷的将特征融合模块应用到不同的行人重识别网络中，从而提高行人重识别准确率。

发明内容

本发明的行人重识别算法优化了同一行人在不同视角下的图像特征融合方法，通过将神经网络模块化的方式，使得特征融合模块更加灵活的应用到神经网络架构中，并且关注从不同深度网络层中提取出来的特征对最终用于识别的行人特征的影响，从而找到相对较优的特征融合方式，其中特征融合模块采用级连的的1*1卷积核构成。

1)将神经网络架构W以多个输入/输出为节点划分多个训练模块，其中损失函数为一个单独的模块，神经网络架构W定义为主干网络。

2)选择其中某个划分模块B_p的输出节点p为特征融合模块B_f的输入节点。

3)将原来网络架构W中节点p之后的子网络定义为W_q，构建一个与W_q结构完全相同的子网络M_q。

4)将M_q拼接在特征融合模块B_f之后构建特征融合分支网络。

5)分别选择合适的损失函数对主干网络和特征融合分支网络加以约束。

6)网络训练过程中，整个网络架构的损失函数为主干网络的损失函数与特征融合分支网络的损失函数之和。

可供选择的损失函数有，交叉熵损失函数L_softmax、三元组损失函数和圆损失函数定义如下：