[发明专利]一种基于多种脉搏波与人脸的多模态身份认证系统及其认证方法

权利要求书

1.一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，该系统包括：

接触式脉搏波获取模块，用于获取接触式手指脉搏波；

手背视频获取模块，用于获取手背的非接触式脉搏波；

人脸视频获取模块，用于获取人脸视频，进一步获取人脸图像和人脸的非接触式脉搏波；

接触式手指脉搏波特征提取模块，用于对接触式脉搏波获取模块获取的接触式手指脉搏波信号进行预处理和特征提取，获取用户的接触式手指脉搏波特征向量；

人脸特征提取模块，用于对人脸视频获取模块获取的人脸图像进行预处理和特征提取，获取用户的人脸特征向量；

接触式手指脉搏波特征认证模块，用于对用户的第二接触式手指脉搏波信号的特征向量与第一接触式手指脉搏波信号的特征向量进行相似度比较验证；

人脸特征认证模块，用于对用户的第二人脸图像的特征向量与第一人脸图像的特征向量进行相似度比较验证；

双脉搏波相似性验证模块，用于对用户的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行相似性分析，判断双脉搏波是否属于同一认证主体；

根据接触式手指脉搏波特征认证模块、人脸特征认证模块和双脉搏波相似性验证模块的共同验证结果生成最终的身份认证结果。

2.根据权利要求1所述的一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，所述的接触式脉搏波获取模块包括红外脉搏波传感器，所述红外脉搏波传感器包括红外指夹探头和采集模块，用于采集接触式手指脉搏波信号。

3.根据权利要求1所述的一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，所述的手背视频获取模块包括摄像头A；所述摄像头A用于记录用户手背视频，进一步获取手背的非接触式脉搏波。

4.根据权利要求1所述的一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，所述的人脸视频获取模块包括摄像头B；所述摄像头B用于获取人脸视频，进一步获取人脸图像和人脸的非接触式脉搏波。

5.根据权利要求1述的一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，所述的脉搏波信号预处理和特征提取具体为：将采集到的脉搏波进行小波阈值去噪；对去噪后的脉搏波信号进行峰值检测，分割出单周期脉搏波；对单周期脉搏波进行核主成分分析和主成分分析，完成对脉搏波信号的降维并得到特征向量。

6.根据权利要求1述的一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，所述的接触式手指脉搏波特征认证模块和人脸特征认证模块的相似度比较具体为：计算认证阶段提取的脉搏波(或人脸)特征向量X(x₁,x₂,…,x_n)与数据库中存储的各个注册用户的脉搏波(或人脸)特征向量Y₁(y₁₁,y₁₂,…,y_1n)、Y₂…Y_m的欧氏距离：

使用k近邻分类器(k-Nearest Neighbor,KNN)进行分类识别和相似度比较。

7.根据权利要求1所述的一种基于多种脉搏波与人脸的多模态身份认证系统，其特征在于，所述的非接触式手背脉搏波信号和非接触式人脸脉搏波信号进行相似性分析具体为：记手背脉搏波信号为P₁，人脸脉搏波信号为P₂；对P₁和P₂进行幅值和时间的归一化，记为P₁′、P₂′；再计算P₁′和P₂′的欧式距离d(P₁′,P₂′)，若d(P₁′,P₂′)小于阈值，则判定P₁和P₂属于同一主体。