[发明专利]一种基于深度图匹配的可见光-红外行人重识别方法

权利要求书

1.一种基于深度图匹配的可见光-红外行人重识别方法，其特征在于，包括以下步骤：

步骤1、构建姿态图提取模块，包括：基于非局部注意力的卷积神经网络、全局平均池化层、人体姿态估计网络；

步骤1.1、获取一幅可见光图像x_R和一幅红外图像x_I，并使用cvtColor变换将所述红外图像x_I的通道数转为3，再利用基于非局部注意力的卷积神经网络分别提前所述可见光图像x_R和变换后的红外图像x′_I的全局特征，相应得到可见光特征F_R和红外特征F_I，将所述可见光特征F_R和红外特征F_I分别经过全局平均池化层后得到可见光全局空间特征和红外全局空间特征并构成全局空间特征对

步骤1.2、将变换后的红外图像x′_R和所述可见光图像x_I分别输入2D高分辨率的人体姿态估计网络中，并相应输出可见光图像x_R中的行人关键点热度图m_R以及红外图像x'_I中的行人关键点热度图m_I；

步骤1.3、根据式(1)和式(2)分别构建可见光的局部视觉特征和红外的局部视觉特征并构成局部视觉特征对

式(1)和式(2)中，表示矩阵Hadamard积；

步骤2、构建可见光、红外图结构数据；

根据全局空间特征对以及局部视觉特征对按照人体骨架结构进行构图，从而得到人体姿态图G＝(V,E,A)；其中，顶点集V表示人体姿态图G中所有关键点构成的集合，边集E表示由人体骨架结构确定的各个关键点间的连接关系，顶点属性A＝{A^F,A^P}表示关键点的全局空间特征和局部视觉特征；

令可见光图像x_R的可见光人体姿态图记为G_R＝(V_R,E_R,A_R)；其中，V_R表示可见光人体姿态图G_R中所有关键点构成的集合，E_R表示可见光图像x_R中人体骨架结构确定的各个关键点间的连接关系，A_R表示可见光人体姿态图G_R中所有关键点的全局空间特征和局部视觉特征；

令红外图像x′_I的红外人体姿态图记为G_I＝(V_I,E_I,A_I)；其中，V_I表示红外人体姿态图G_I中所有关键点构成的集合，E_R表示红外图像x′_I中人体骨架结构确定的各个关键点间的连接关系，A_R表示红外人体姿态图G_I中所有关键点的全局空间特征和局部视觉特征；

步骤3、构建协同图匹配模块；

步骤3.1、建模亲和矩阵M：

步骤3.1.1、利用式(3)计算亲和矩阵M的对角线元素M_ij,ij：

式(3)中，表示可见光人体姿态图G_R的第i个关键点与红外人体姿态图G_I的第j个关键点之间的视觉相似度，并由式(4)得到，表示可见光人体姿态图G_R的第i个关键点与红外人体姿态图G_I的第j个关键点之间的空间相似度，并由式(5)得到，i∈(0,n₁]，j∈(0,n₂]，n₁、n₂分别表示可见光关键点V_R和红外关键点V_I的关键点总数；

式(4)和式(5)中，exp表示指数化，表示可见光人体姿态图G_R中第i个关键点的局部视觉特征，表示红外人体姿态图G_I中第j个关键点的局部视觉特征，表示可见光人体姿态图G_R中第i个关键点的全局空间特征，表示红外人体姿态图G_I中第j个关键点的全局空间特征；

步骤3.1.2、利用式(4)计算亲和矩阵M的非对角线元素M_i1j1,i2j2：

式(4)中，表示一对可见光关键点和一对红外关键点之间的联合空间置信度，并由式(7)得到；表示一对可见光关键点和一对红外关键点之间的视觉相似度，并由式(8)得到，

式(7)和式(8)中，exp表示指数化，||·||₂表示矩阵的2-范数；分别表示可见光人体姿态图G_R中第i₁、i₂个关键点的局部视觉特征，分别表示红外人体姿态图G_I中第j₁、j₂个关键点的局部视觉特征；分别表示可见光人体姿态图G_R中第i₁、i₂个关键点的全局空间特征，分别表示红外人体姿态图G_I中第j₁、j₂个关键点的全局空间特征；

步骤3.2、定义图匹配：

定义并初始化匹配矩阵U＝0，其中n₁、n₂分别表示可见光关键点V_R和红外关键点V_I的关键点数量；

利用式(9)构建跨模态图匹配模块：

式(9)中，U_ij表示可见光图像x_R的第i个节点与红外图像x′_I的第j个节点的匹配情况，若U_ij＝1，则表示可见光图像x_R的第i个节点与红外图像x′_I的第j个节点匹配成功；若U_ij＝0，则表示可见光图像x_R的第i个节点与红外图像x′_I的第j个节点匹配失败；

步骤4、构建由姿态图提取模块和协同图匹配模块组成的行人重识别模型并训练；

步骤4.1、利用式(8)构建多模态KISSME判别损失L_KC：

式(10)中，δ(·)表示KISSME度量函数，表示第i个可见光行人的可见光空间和视觉特征的中心，表示第i个红外行人的可见光空间和视觉特征的中心，表示第j个最难负向空间和视觉特征的中心；

步骤4.2、设置模型的基础学习率为lr，总迭代次数为items，每次迭代随机采样P个不同身份行人的K张可见光图像和K张红外图像组成第Q个批次，将当前第Q个批次图像输入行人重识别模型中，并采用随机梯度下降SGD优化算法对行人重识别模型中的各个参数进行迭代优化，并最小化所述损失函数L_KC，直至到达迭代总次数items或损失函数L_KC趋于稳定为止，从而得到基于深度图匹配的可见光-红外行人重识别模型；

步骤5、查询匹配：

步骤5.1、收集M张可见光行人图像作为一组可见光行人图像，并收集M张红外行人图像作为一组红外光行人图像，将其中的一组图像当做查询集，另一组为测试集；

步骤5.2、从查询集选取一张待查询图像x_q，利用所述基于深度图匹配的可见光-红外行人重识别模型分别对待查询图像x_q和测试集所有图像进行特征提取，得到可见光全局空间特征可见光局部视觉特征红外全局空间特征和红外局部视觉特征并根据式(11)计算相似度后，对相似度进行降序排序，选取前σ个相似度所对应的图像作为待查询图像x_q的可见光-红外行人重识别的检索结果；

式(11)中，N₁和N₂分别表示已匹配的可见光关键点的总数和已匹配的红外关键点总数，φ()表示余弦度量，表示第i个已匹配的可见光局部视觉特征，表示第j个已匹配的红外局部视觉特征，表示第i个已匹配的可见光全局空间特征，表示第j个已匹配的红外全局空间特征。