[发明专利]行人中的人脸识别方法

权利要求书

1.一种行人中的人脸识别方法，其特征在于，包括如下：

(1)制备行人检测，人脸检测，人脸识别网络的训练数据集；

(2)采用随机梯度下降算法，用行人检测，人脸检测，人脸识别网络的训练数据集对现有的行人检测网络Yolov3，人脸检测网络MTCNN，人脸识别网络FaceNet分别进行训练，得到训练好的行人检测网络Yolov3，人脸检测网络MTCNN，人脸识别网络FaceNet；

(3)制备多角度人脸特征数据库：

(3a)采集一个未采集过的待识别人员正脸、左右侧脸、仰视和俯视共5张人脸图像，并纪录待识别人员的姓名；

(3b)将每张图像输入到训练好的人脸检测网络MTCNN中，人脸检测网络MTCNN输出每张人脸图像对应的人脸区域；

(3c)将每张图像对应的人脸区域输入到训练好的人脸识别网络FaceNet，输出每张人脸图像的512维人脸特征向量；

(3d)将所采集的待识别人员的姓名和5张人脸图像的512维人脸特征向量映射成一个字典；

(3e)判断是否采集完所有待识别人员的图像，若是，则用所有的映射字典组成人脸特征数据库；执行(4)，否则，返回(3a)；

(4)检测并跟踪图像的行人区域：

(4a)对摄像头的视频流进行一次实时采样，获得一张采集图像；

(4b)判断当前行人区域集合是否为空，若是，将采集的图像输入到行人检测网络Yolov3中，执行(4c)，否则，执行(4d)；

(4c)行人检测网络Yolov3判断输入的图像中是否含有至少一个行人区域，若是，行人检测网络Yolov3输出图像中所有的行人区域，并组成一个行人区域集合，执行(4d)，否则，返回(4a)；

(4d)判断行人区域集合是否替代了10次：若是，执行(4e)，否则，将行人区域集合输入到C++的机器学习算法工具包的deep-sort函数中，得到跟行人跟踪区域集合后，再用行人跟踪区域集合替代当前行人区域集合；

(4e)利用交并比公式，依次将行人区域集合内的行人区域与上次采样图像的行人区域集合内的所有行人区域分别计算重叠度，若重叠度中的最大值大于0.1，则用这次采样图像的行人区域替换为最大值对应的上次采样图像的行人区域，执行(5)，否则，保留这次采样图像的行人区域，执行(5)；

(5)将行人区域集合内的每一个行人区域分别输入到人脸检测网络MTCNN，人脸检测网络MTCNN分别输出对应的人脸区域，用所有的人脸区域组成当前人脸区域集合；

(6)将当前人脸区域集合中的每一个人脸区域输入到人脸识别网络FaceNet，输出每一个人脸区域对应的512维特征向量，并计算每一个人脸区域的特征向量与人脸特征数据库的特征向量的相似度；

(7)判断(6)是否进行了20次，若是，将所有的余弦相似度中最大值大于0.22的人脸区域判定无效识别，在人脸数据库中找到其余的余弦相似度最大值对应的特征向量，通过特征向量找到该人脸区域对应的人的信息，完成人脸识别，否则，返回(4)。

2.根据权利要求1所述的方法，其特征在于：(1)中的训练数据集，其制备步骤如下：

(1a)分别采集拥有行人位置信息图像至少10万张、人脸位置信息图像至少3万张、人脸身份信息图像至少20万张；

(1b)将所采集的具有行人位置、人脸位置信息、人脸身份信息的图像各自组成行人检测、人脸检测、人脸识别网络的训练数据集。