[发明专利]一种基于步态与人脸融合的身份识别方法及装置

权利要求书

1.一种基于步态与人脸融合的身份识别方法，其特征在于，包括以下步骤：

S1，采集视频流，对视频流进行行人检测和跟踪，得到人体帧图像序列，同时对人体帧图像进行人脸检测，获取人体帧图像序列对应的人脸图像序列；

S2，对所述人体帧图像序列中的人体图像进行步态特征提取，并获取质量评价参数，根据质量评价参数计算所述步态特征的质量评价分数；

S3，对人脸图像序列中的各图像进行人脸特征提取，并获取人脸图像的质量评价参数，根据质量评价参数计算人脸特征的质量评价分数，将质量评价分数最高的人脸图像作为待识别人脸图像；

S4，把步态特征和人脸特征按照各自的质量评分进行加权，输入SVM分类器进行身份识别。

2.根据权利要求1所述的一种基于步态与人脸融合的身份识别方法，其特征在于，步骤S1中所述的对视频流进行行人检测，采用Faster-RCNN的深度学习方法来实现，同时采用相关滤波，对检测到行人进行跟踪；所述人脸检测采用SSD单次检测器抓取人脸。

3.根据权利要求2所述的一种基于步态与人脸融合的身份识别方法，其特征在于，所述步骤S2包括以下子步骤：

S21，对人体帧图像序列中的人体图像进行大小归一化处理；

S22，将处理后的人体帧图像序列输入姿势识别网络，提取每一张人体图像的姿势特征，生成人体帧图像序列对应的姿势特征序列，同时提取人体帧图像的质量评价参数，并根据质量评价参数计算人体帧图像的质量评价分数；

S23，将所述姿势特征序列输入步态识别网络，得到用于描述人体步态的特征向量。

4.根据权利要求3所述的一种基于步态与人脸融合的身份识别方法，其特征在于，所述步骤S3，包括以下子步骤：

S31，对人脸图像序列中的每一张人脸图像采用SSD单次检测器进行人脸检测，提取每张人脸的3D Landmark，同时获取人脸图像的质量评价参数，并根据人脸图像的质量评价参数计算每张人脸图像的质量评价分数；

S32，选取人脸图像序列中质量评价分数最高的人脸图像作为待识别人脸图像，并根据所述待识别人脸图像的3D Landmark进行三维建模，投射到正面人脸；

S33，通过人脸特征神经网络获取待识别人脸图像的特征向量。

5.根据权利要求1所述的一种基于步态与人脸融合的身份识别方法，其特征在于，所述质量评价参数包括人体图像或人脸图像的大小、角度和清晰度。

6.一种基于步态与人脸融合的身份识别装置，其特征在于，包括：

视频采集及预处理模块，用于采集视频流，对视频流进行行人检测和跟踪，得到人体帧图像序列，同时对人体帧图像进行人脸检测，获取人体帧图像序列对应的人脸图像序列；

步态特征提取模块，对所述人体帧图像序列中的人体图像进行步态特征提取，并获取质量评价参数，根据质量评价参数计算所述步态特征的质量评价分数；

人脸特征提取模块，对人脸图像序列中的各图像进行人脸特征提取，并获取人脸图像的质量评价参数，根据质量评价参数计算人脸特征的质量评价分数，将质量评价分数最高的人脸图像作为待识别人脸图像；

识别模块，把步态特征和人脸特征按照各自的质量评分进行加权，输入SVM分类器进行身份识别。

7.根据权利要求6所述的一种基于步态与人脸融合的身份识别装置，其特征在于，所述视频采集及预处理模块采用Faster-RCNN的深度学习方法对视频流进行行人检测，同时采用相关滤波，对检测到行人进行跟踪；采用SSD单次检测器进行人脸检测，抓取人脸。

8.根据权利要求7所述的一种基于步态与人脸融合的身份识别装置，其特征在于，所述步态特征提取模块具体用于：

对人体帧图像序列中的人体图像进行大小归一化处理；

将处理后的人体帧图像序列输入姿势识别网络，提取每一张人体图像的姿势特征，生成人体帧图像序列对应的姿势特征序列，同时提取人体帧图像的质量评价参数，并根据质量评价参数计算人体帧图像的质量评价分数；

将所述姿势特征序列输入步态识别网络，得到用于描述人体步态的特征向量。