[发明专利]一种人脸识别网络与行人再识别网络协同训练方法

摘要

本发明公开了一种人脸识别网络与行人再识别网络协同训练方法，采用双网络并行网络结构，将人脸与行人进行特征融合，把融合后的特征作为行人输出特征，使其具有更强的人脸特征表达能力，并根据人脸图像清晰度的不同对人脸识别网络与行人再识别网络采用不同的监督信号进行训练，当人脸图像清晰度较低时，用行人再识别网络的预测结果与真实标签的加权相加的结果作为监督信号，指导人脸识别网络进行训练；当人脸图像清晰度较高时，将人脸识别网络的预测结果与真实标签的加权相加的结果作为监督信号，指导行人再识别网络进行训练，既加强了人脸识别对于行人再识别结果的影响，又能够在人脸图像模糊的情况下利用行人再识别的预测结果指导人脸特征分类。

主权项

1.一种人脸识别网络与行人再识别网络协同训练方法，其特征在于包括如下步骤：步骤(1)：对DukeMTMC‑reID行人再识别数据集利用开源人脸识别引擎SeetaFace的人脸检测模块进行人脸检测，所述人脸检测模块采用漏斗型级联结构(Funnel‑Structured Cascade，FuSt)，FuSt级联结构在顶部由多个针对不同姿态的快速LAB级联分类器构成，紧接着是若干个基于SURF特征的多层感知机(MLP)级联结构，最后由一个统一的MLP级联结构来处理所有姿态的候选窗口，最终保留正确的人脸窗口，得到人脸图像；步骤(2)：由步骤(1)经过人脸检测成功后总共获得N个行人图像和N个人脸图像，将从第i个行人图像Hi中得到的人脸图像记为Fi，Hi和Fi组成数据对(Hi，Fi)，Hi和Fi具有相同的身份标签，Hi和Fi(i＝1,2,…,N)分别构成行人训练数据集和人脸训练数据集；步骤(3)：采用基于梯度统计的清晰度评价算法对人脸图像进行清晰度评价，该算法利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，认为图像越清晰；步骤(4)：分别采用基于卷积神经网络的人脸识别子网络和行人再识别子网络进行人脸识别模型和行人再识别模型训练，所述基于卷积神经网络的人脸识别子网络和行人再识别子网络中均包含训练数据输入层、卷积层、最大采样层三种网络层。其中，人脸识别卷积层接最大采样层构成一个人脸识别子结构单元，人脸数据输入层和N个串联子结构共同构成人脸识别子网络；行人再识别卷积层接最大采样层构成一个行人再识别子结构单元，每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入，行人数据输入层和M个串联子结构共同构成行人再识别子网络；步骤(5)：将人脸识别子网络和行人再识别子网络的输出各连接一个全连接层，将两个全连接层进行特征融合，将融合特征作为行人特征分类层的输入；人脸识别子网络所连接的全连接层作为人脸特征分类层的输入，其中，人脸识别子网络、全连接层、人脸特征分类层共同组成人脸识别网络，行人再识别子网络、全连接层、行人特征分类层共同构成行人再识别网络。所述特征融合采用深度学习框架caffe中的concat层，将两个全连接层的输出作为concat层的输入，其中人脸特征分类层和行人特征分类层均为输出维度是D维的全连接层，D表示行人类别数，人脸类别数也为D，最终concat层的输出即为融合特征；步骤(6)：把行人训练数据集和人脸训练数据集分别输入到人脸识别网络与行人再识别网络中，当人脸图像清晰度较低时，将行人再识别子网络连接的Soft‑Max层的预测结果与真实标签共同作为人脸识别子网络的联合监督信号对人脸识别子网络进行训练；当人脸图像清晰度较高时，将人脸识别子网络连接的Soft‑Max层的预测结果与真实标签共同作为行人再识别子网络的联合监督信号对行人再识别子网络进行训练，其中，联合监督信号是Soft‑Max层的预测结果与真实标签加权相加的结果，使用深度学习框架caffe协同训练人脸识别网络与行人再识别网络得到一个集人脸识别与行人再识别功能于一体的双识别模型；步骤(7)：人脸识别及行人再识别测试，将两张待测试的行人图像H1和H2按照步骤(1)的方法获得对应的人脸图像F1和F2，组成测试图片对(H1，F1)和(H2，F2)，对人脸图像采用步骤(3)的方法进行清晰度评价，当F1和F2均清晰度较高时，对F1、F2利用步骤(6)中得到的双识别模型进行人脸特征的提取，分别得到人脸特征向量Ff1、Ff2，通过计算Ff1和Ff2之间的余弦相似度Fp，设置人脸相似度阈值为FT，如果Fp≥FT，则判定F1和F2是同一个人的人脸，直接根据人脸识别结果判定H1和H2是同一个行人，如果FpTs，则判定判定F1和F2是同一个人的人脸，如果Fs

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国计量大学，未经中国计量大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201810864960.0/，转载请声明来源钻瓜专利网。