[发明专利]基于姿态辅助遮挡人体再识别的一人一档系统构建方法

说明书

本发明公开了一种基于姿态辅助遮挡人体再识别的一人一档系统构建方法，所述方法包括：利用网络模型中深度特征提取模块的外观特征提取子模块实现对不同行人图像人脸特征的提取；利用多源特征融合模块实现融合并生成新的行人特征；利用特征嵌入模块对新的行人特征进行不同身份的嵌入；模型训练完成后用多源特征融合模块所生成的特征实现人像识别。本发明设计了一种基于姿态辅助的多源特征融合网络，非局部注意力机制和姿态辅助模块的加入实现了特征信息长距离依赖和使网络更加关注人体非遮挡区域，有效提高了人像识别网络的表征能力和人像识别精度，为“一人一档”系统的行人检索与实时更新成档打下坚实基础。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于姿态辅助遮挡人体再识别的一人一档系统构建方法。

背景技术

人像识别技术是一种借助视频监控摄像系统进行排查搜寻的计算机视觉技术。人像识别技术源于跨摄像头多目标跟踪问题，用于从不同视频或图像中识别出目标人物。现如今，科技的持续进步使得监控摄像头广泛应用于日常生活。人像识别技术在城市安防、人员搜索、人物跟踪等方面的应用越来越广泛，对城市的安全有重要意义。

人物识别包含人脸识别和人体识别。目前，人脸识别已经被大量应用于在现实环境中，但由于摄像头拍摄角度、光线等问题，有时会出现无法通过人脸识别辨别身份的情况。此时需要通过衣着、发型、体貌等人体特征识别人物身份。虽然现有的人体识别网络实现了非遮挡人体识别方向的应用，但其不能很好地关注带遮挡人体图像中的非遮挡区域，对于遮挡人体识别的精度不高。

发明内容

为了解决上述现有技术的不足，本发明提供了一种基于姿态辅助遮挡人体再识别的一人一档系统构建方法，该方法构建的网络模型包括深度特征提取模块、多源特征融合模块以及特征嵌入模块。

其中深度特征提取模块含有外观特征提取子模块和姿态辅助子模块，外观特征子模块实现对人脸特征的提取，外观特征子模块和姿态辅助子模块实现对人体特征的提取；

多源特征融合模块通过融合人脸特征和人体特征，生成新的行人特征；

特征嵌入模块对新的行人特征进行身份的嵌入，最终在模型训练完成后将多源特征融合模块所生成的特征用于人像识别任务的行人图像查询。

本发明联合了人脸识别和人体识别，有效整合多源信息，降低了由单一的人脸识别导致的人像识别错误；与现有的不带遮挡人体再识别相比，引入姿态辅助的网络更关注图像非遮挡区域，对不带遮挡图像和带遮挡图像都有更佳的识别效果；并且在深度特征提取模块中引入非局部注意力机制，充分学习了网络长距离卷积计算中的空间依赖关系，学习到了图像不同空间区域的关联信息，更有利于实现对不同行人图像的区分。

进一步的，所述深度特征提取模块含有外观特征提取子模块和姿态辅助子模块两个子模块；其中外观特征提取子模块用于对输入图像提取人脸信息、人体信息和身份信息，生成外观特征，其网络以Resnet-50网络为主干，并在主干网络中间引入非局部注意力模块，捕获空间域中不同局部感受野间的长距离依赖关系，进一步增强网络特征提取能力，在主干网络之后包含全局特征支路和局部特征支路，以获得更加丰富的深度特征；其中姿态辅助子模块用于辅助提取输入图像的人体信息，输出部分人体特征，它通过姿态估计器实现；

所述引入的非局部注意力模块对输入的特征图用三个1×1卷积块进行映射分别获得Query、Key和Value三条支路特征图，接着对Query和每个Key进行点乘计算并通过Softmax函数得到Value支路的权重，将Value支路乘以权重并通过Softmax函数获得最终的自注意力系数，将此系数与原始输入特征相乘得到非局部注意力模块的输出；根据下式实现非局部注意力模块的输出：

z_i＝W_z×φ(x_i)+x_i