[发明专利]基于解纠缠表达学习的跨模态生物特征匹配方法及系统

权利要求书

1.基于解纠缠表达学习的跨模态生物特征匹配方法，其特征在于，包括以下步骤：

步骤一、构建原始数据集；

所述原始数据集包括多张人脸图像及多条声音片段；

步骤二、划分原始数据集；

将原始数据集划分成训练样本集D_tr、验证样本集D_val和测试样本集D_te，其中训练样本集D_tr和验证样本集D_val中的样本与测试样本集D_te中的样本不重叠；

步骤三、提取人脸嵌入和声音嵌入；

通过预训练的VGG-face模型，对于训练集和验证集中的每个人脸x_f提取对应的人脸嵌入e_f；通过预训练的VGGish模型，对于训练集和验证集中的每个声音x_v提取对应的声音嵌入e_v；

步骤四、得到人脸的身份因子μ_f和声音的身份因子μ_v；

步骤4.1、将步骤三提取到的人脸嵌入e_f和声音嵌入e_v输入到2层全连接层网络中，得到初步的人脸的身份因子和声音的身份因子；

步骤4.2、比较初步的人脸的身份因子和声音的身份因子，如果输入的人脸嵌入e_f和声音嵌入e_v来自同一个人，则让初步的人脸的身份因子和声音的身份因子之间的差异尽可能小，否则让二者之间的差异尽可能的大，不断迭代；当达到指定迭代次数之后，得到最终的训练集与验证集中人脸的身份因子μ_f和声音的身份因子μ_v；

步骤五、获得人脸的模态依赖因子σ_f和声音的模态依赖因子σ_v；

步骤5.1、将步骤三提取到的人脸嵌入e_f和声音嵌入e_v输入到2层全连接层网络中，得到初步的人脸的模态依赖因子和声音的模态依赖因子；

步骤5.2、比较初步的人脸的模态依赖因子和声音的模态依赖因子，让二者之间的差异尽可能小，不断迭代；当达到指定迭代次数之后，得到最终的训练集与验证集中人脸的模态依赖因子σ_f和声音的模态依赖因子σ_v；

步骤六、重建人脸嵌入和声音嵌入；

通过步骤四学习到的人脸的身份因子μ_f和声音的身份因子μ_v与步骤五学习到的人脸的模态依赖因子σ_f和声音的模态依赖因子σ_v重建人脸嵌入和声音嵌入；

步骤七、通过将重建的人脸嵌入和声音嵌入输入到识别层，进行身份识别；

步骤八、构建损失函数，优化整个网络参数，训练网络；

构建损失函数：

(8a)构建近似后验概率估计器的损失函数:

其中为第n个人脸的模态依赖因子中的第k个元素，为第n个人脸的身份因子中的第k个元素，为第n个声音的模态依赖因子中的第k个元素，为第n个声音的身份因子中的第k个元素；z_f和z_v分别为人脸和声音的潜在解纠缠变量，φ_f和φ_v为近似后验概率估计器中的参数；和分别为第n个人脸嵌入e_f和第n个声音嵌入e_v；

(8b)构建身份一致性损失：

其中当和来自同一个人，反之ξ为预先定义的边界阈值；

(8c)构建模态不一致性损失：

其中A为正交矩阵用于人脸的模态依赖因子σ_f和声音的模态依赖因子σ_v之间的相互映射，λ₁和λ₂为折中系数，||·||_F表示弗罗贝尼乌斯范数，I为单位矩阵；

(8d)构建身份识别损失：

其中e_f和e_v为提取的人脸嵌入和声音嵌入，和为重建的人脸嵌入和声音嵌入，θ_f和θ_v为人脸特征提取网络VGG-face模型中的参数和声音特征提取网络VGGish模型中的参数，W_f1，W_v1，W_f2和W_v2为步骤七中识别层的参数；

优化网络参数，训练网络：

利用RMSprop优化器优化网络参数，通过使步骤(8a)-(8d)中定义的损失函数最小来迭代训练参数；同时，计算验证集关于步骤七中的识别精度作为性能验证指标，当性能验证指标开始下降时停止训练，保存训练好的网络；

所述网络参数包：θ_f、θ_v、φ_f、φ_v、W_f1，W_v1，W_f2及A；

步骤九、测试网络；

将测试数据集的人脸和声音输入到训练好的网络，得到解纠缠的身份因子，通过得到的身份因子进行人脸和声音的跨模态认证、跨模态匹配和跨模态检索任务，并统计实验结果，计算相关指标分数。