[发明专利]一种适用于多目标的基于声纹和人脸的匹配方法

权利要求书

1.一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于包括以下步骤：

(1)提取一段时间内的声音片段，进行特征提取，对提取特征后的混合声源进行说话人分离，得到这段时间内的多个目标的声纹倒谱；

(2)提取同一段时间内的运动图像，对图像进行多人脸识别，对于每个人脸图像重点关注人脸中的嘴角间的宽度变化，进行图像特征提取，得到不同人脸在这段时间内的运动图像倒谱；

(3)将声纹倒谱和人脸倒谱进行相似度匹配，将匹配成功的目标视为服务对象，匹配不成功的视为异常。

2.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(1)中，提取一段时间内的声音片段，进行特征提取的具体方法为：

用麦克风阵列采集一段时间内的声音，对于所提取的声音片段，先用由多个非线性函数的连续应用组成的深度神经网络将说话人的声音转换成特征向量，一个说话人对应多个特征向量，该过程可以实现将环境噪音剔除，只提取说话人的声纹特征。

3.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(1)中，对提取特征后的混合声源进行说话人分离的具体方法为：

采用一个共享参数的有监督循环神经网络来获得不同声纹片段特征属于同一个说话人的概率，当概率大于阈值时，则可认为该声纹片段特征属于该说话人，根据说话人分离的结果，按照时间顺序，将属于同一个说话人的声纹片段特征拼接在一起，形成在所述时间内每个说话人的完整声纹特征。

4.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(1)中，得到这段时间内的多个目标的声纹倒谱的具体方法为：

先将声纹特征进行傅里叶变换，然后利用三角窗函数将频谱映射至梅尔刻度，取对数然后做离散余弦转换，得到这段时间内的多个目标的声纹倒谱。

5.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(2)中，提取同一段时间内的运动图像，对图像进行多人脸识别的具体方法为：

用摄像头阵列采集一段时间内的图像形成视频，对图像序列进行人脸识别，对人脸中嘴角标好关键点，然后对处在同一图像中的多目标进行分割，为每个人脸保存一个单独的图像序列。

6.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(2)中，对于每个人脸图像重点关注人脸中的嘴角间的宽度变化，进行图像特征提取的具体方法为：

采用卷积神经网络对嘴角关键点的部分进行特征提取，得到每个人脸所对应的嘴角变化的特征脸序列。

7.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(2)中，得到不同人脸在这段时间内的运动图像倒谱的具体方法为：

对获得的特征脸序列用帧间差分法做运动分析，每个人脸对应一系列特征向量，对该特征向量做基于梅尔倒频谱系数的频谱分析。

8.如权利要求1所述的一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于，步骤(3)中，将声纹倒谱和人脸倒谱进行相似度匹配，将匹配成功的目标视为服务对象，匹配不成功的视为异常的具体方法为：设定一个阈值，当声纹倒谱和人脸倒谱的相似度误差小于所述阈值时，则将声纹倒谱和人脸倒谱相似度最大的相应声纹和人脸视为匹配，将匹配成功的目标视为服务对象。当某一个声纹倒谱和任意人脸倒谱的相似度误差都大于所述阈值，或当某一个人脸倒谱和任意声纹倒谱的相似度误差都大于所述阈值，则匹配不成功，视为异常，原因可能为麦克风阵列采集到该目标的声音但不在摄像头阵列的采集范围内，或摄像头阵列采集到该目标的人脸但目标没有说话。声纹倒谱和人脸倒谱的相似度用余弦相似度衡量。