[发明专利]基于注意力机制的全局特征和局部特征的行人再识别方法

说明书

本发明涉及一种基于注意力机制的全局特征和局部特征的行人再识别方法，包括：分别提取行人的全局特征和局部特征；在全局特征分支中，以整个行人特征图像作为输入，并将其送入空间注意力机制模块和通道注意力机制模块，将两个模块的特征表示进行融合；在局部特征分支中，把行人特征图水平平均分割为三部分，将分割的三部分输入到通道注意力机制模块得到每一部分的局部特征；将全局特征和局部特征送入特征向量提取模块，得到用于行人预测的特征向量；对整体网络进行训练，得到行人再识别模型。本发明充分利用行人图像的全局特征和局部特征，有效融合了注意力机制，使行人特征更具有判别力，获得了良好的行人再识别结果，提高了模型匹配准确率。

技术领域

本发明属于计算机视觉行人再识别技术领域，尤其是一种基于注意力机制的全局特征和局部特征的行人再识别方法。

背景技术

行人再识别技术是指通过计算机视觉技术，在不同摄像头拍摄的行人图像或者视频中判断其是否为同一行人的技术。由于其在视频监控和安防侦察等方面具有重要的意义，行人再识别技术已经引起了广泛的关注，是建设和谐社会和安全城市的关键。

传统的行人再识别技术可以分为两个要点：一个是特征提取，针对摄像头拍摄的行人图像或者视频，提取其具有判别力的特征；另一个是距离度量学习，使相同的行人特征之间的距离更近，而不同的行人特征之间的距离更远。随着深度学习技术在计算机视觉领域的广泛应用，行人再识别技术也将卷积神经网络作为经常使用的方法，并且能够提取到具有判别力和鲁棒性的行人特征，是解决行人再识别难题的必然趋势。

现在的行人再识别任务大多是基于行人图像的全局特征，而行人图像的背景十分复杂，一些不明显的细节信息很容易被忽略，而且行人再识别数据集多样性较小，这就限制了行人再识别的准确性。而一些基于局部特征提取的行人再识别方法，虽然能够在面对部分变化和遮挡的情况下获得鲁棒的效果，但是却忽略了行人再识别图像中全局的上下文依赖性，降低了匹配准确率。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理且匹配准确率高的基于注意力机制的全局特征和局部特征的行人再识别方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于注意力机制的全局特征和局部特征的行人再识别方法，包括以下步骤：

步骤1、使用基于深度学习的卷积神经网络模型提取输入图像的基础深度特征，将行人特征图送入全局特征和局部特征分支中，分别提取行人的全局特征和局部特征；

步骤2、在全局特征分支中，以整个行人特征图像作为输入，并将其送入空间注意力机制模块和通道注意力机制模块，然后将两个模块的特征表示进行融合；

步骤3、在局部特征分支中，首先把行人特征图水平平均分割为三部分，然后将分割的三部分输入到通道注意力机制模块，对应得到每一部分的局部特征；

步骤4、将全局特征和局部特征送入特征向量提取模块，得到用于行人预测的特征向量；

步骤5、以交叉熵损失为目标函数对整体网络进行训练，得到基于注意力机制的全局特征和局部特征的行人再识别模型。

进一步，所述步骤1的具体实现方法为：

将输入图像缩放到统一尺寸384×128，以Resnet50卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的下采样和全连接层，得到尺寸大小为24×8的行人特征图，将产生的行人特征图作为输入分别送至全局特征分支和局部特征分支，分别提取行人的全局特征和局部特征。

进一步，所述步骤2的具体实现方法包括以下步骤：

⑴将由基础网络产生的特征图分别送入空间注意力模块和通道注意力模块中；