[发明专利]一种基于深度图匹配的可见光-红外行人重识别方法

说明书

本发明公开了一种基于深度图匹配的可见光‑红外行人重识别方法，包括以下步骤：1、设计姿态图提取模块；2、构建可见光、红外图结构数据；3、构建协同图匹配模块；4、构建由姿态图提取模块和协同图匹配模块组成的行人重识别模型并训练；步骤5、查询匹配。本发明能通过图数据建模以及高效的跨模态协同图匹配，自适应匹配可见光与红外特征，从而提高可见光‑红外行人重识别的精确度。

技术领域

本发明涉及计算机视觉、行人重识别技术领域，具体地说是一种基于深度图匹配的可见光-红外行人重识别方法。

背景技术

随着公共安全领域日益增加的应用需求，城市各个管理部门在街道，校园、医院，车站等区域布设了全天候、大规模的摄像机网络。每天汇集到公安、城管等部门相关服务器中是海量的视频大数据，依靠人力来搜寻或追踪感兴趣的行人是非常昂贵和不可行的任务。行人重识别是指非重叠视域摄像机网络下判断感兴趣的行人是不是在其它摄像机(不同地点或时间)下存在的问题。

然而，在夜晚场景下，可见光摄像头难以捕捉行人信息，现如今各大交通网络已全面部署可见光-红外双模态摄像机。可见光-红外跨模态行人重识别问题引起了工业界和学术界的广泛关注。为了提升跨模态行人的表示能力，提取姿态、人体部位，步态，特征关键点，视角信息等局部特征已成为提升再识别性能的合理选择，基于局部特征的方法通过挖掘细粒度信息,可加强模型对人体关键区域的学习,降低无关因素的干扰,从而克服全局特征的缺陷。

但仅仅利用关键点区域并不够，相关工作又继续在局部特征基础上加入注意力机制或改进损失函数，但仍然忽略了关键点之间关系的构建。现有方法主要利用像素或特征对齐来处理类内变化和模态差异。然而，这些方法很难保持全局和局部表示之间的语义一致性。并且相同行人图像间仍然存在姿态、错位等变化，这对于直接学习特征对齐有负面影响。

发明内容

本发明为克服现有技术的不足之处，提出一种基于深度图匹配的可见光-红外行人重识别方法，以期能通过图数据建模以及高效的跨模态协同图匹配，自适应匹配可见光与红外特征，从而能提高可见光-红外行人重识别的精确度，并能降低对于人体姿态、错位、遮挡以及模态差异的敏感程度。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于深度图匹配的可见光-红外行人重识别方法的特点在于，包括以下步骤：

步骤1、构建姿态图提取模块，包括：基于非局部注意力的卷积神经网络、全局平均池化层、人体姿态估计网络；

步骤1.1、获取一幅可见光图像x_R和一幅红外图像x_I，并使用cvtColor变换将所述红外图像x_I的通道数转为3，再利用基于非局部注意力的卷积神经网络分别提前所述可见光图像x_R和变换后的红外图像x′_I的全局特征，相应得到可见光特征F_R和红外特征F_I，将所述可见光特征F_R和红外特征F_I分别经过全局平均池化层后得到可见光全局空间特征和红外全局空间特征并构成全局空间特征对

步骤1.2、将变换后的红外图像x′_R和所述可见光图像x_I分别输入2D高分辨率的人体姿态估计网络中，并相应输出可见光图像x_R中的行人关键点热度图m_R以及红外图像x'_I中的行人关键点热度图m_I；

步骤1.3、根据式(1)和式(2)分别构建可见光的局部视觉特征和红外的局部视觉特征并构成局部视觉特征对

式(1)和式(2)中，表示矩阵Hadamard积；

步骤2、构建可见光、红外图结构数据；