[发明专利]一种适用于多目标的基于声纹和人脸的匹配方法

说明书

本发明提供了一种适用于多目标的基于声纹和人脸的匹配方法，涉及营业厅环境中服务机器人等的模式匹配和多目标匹配领域，包括：(1)提取一段时间内的声音片段，进行特征提取，对提取特征后的混合声源进行说话人分离，得到这段时间内的多个目标的声纹倒谱；(2)提取同一段时间内的运动图像，对图像进行多人脸识别，对于每个人脸图像重点关注人脸中的嘴角间的宽度变化，进行图像特征提取，得到不同人脸在这段时间内的运动图像倒谱；(3)将声纹倒谱和人脸倒谱进行相似度匹配，将匹配成功的目标视为服务对象，匹配不成功的视为异常。本发明克服生物识别和认证中生物信息利用单一和生物信息需要提前录入数据库的挑战，能识别新目标的同时又保证了多目标匹配。

技术领域

本发明属于模式识别和多目标匹配领域，尤其是涉及营业厅环境中服务机器人等的一种适用于多目标的基于声纹和人脸的匹配方法。

背景技术

随着人工智能技术的发展，生物识别得到越来越多的重视，但目前市面上的生物识别方法要么比较单一，要么只能认证数据库中存在的生物信息，无法应用到多目标认证匹配的复杂场景。

目前市面上的基于声纹和人脸的认证方法大多都是需要事先将用户的声纹信息和人脸信息录入数据库，然后在认证过程中采集用户新的声纹信息和人脸信息，然后跟数据库中录入的信息进行对比，一致则认为验证成功。这种认证方法需要提前录入用户的生物信息，所以无法对新用户进行识别和多用户进行匹配，难以解决复杂场景下(如服务营业厅)的多目标匹配，准确找到待服务的用户。

当服务机器人面前对多个正在发声的用户时，传统技术无法区别其中哪些用户是待服务的用户。本发明引入声纹识别技术和人脸识别技术，通过将各个发声用户的声纹变化与用户的人脸变化进行比较，确定目标服务对象，避免服务受不相干语音的干扰，在复杂的多人环境中准确地识别目标用户，并完成连续的交互。

发明内容

本发明的目的在于克服现有技术中的不足，主要是通过下述技术方法得以解决的：

一种适用于多目标的基于声纹和人脸的匹配方法，其特征在于包括以下步骤：

(1)提取一段时间内的声音片段，进行特征提取，对提取特征后的混合声源进行说话人分离，得到这段时间内的多个目标的声纹倒谱。

(2)提取同一段时间内的运动图像，对图像进行多人脸识别，对于每个人脸图像重点关注人脸中的嘴角间的宽度变化，进行图像特征提取，得到不同人脸在这段时间内的运动图像倒谱。

(3)将声纹倒谱和人脸倒谱进行相似度匹配，将匹配成功的目标视为服务对象，匹配不成功的视为异常。

在步骤(1)中，提取一段时间内的声音片段，进行特征提取的具体方法为：

用麦克风阵列采集一段时间内的声音，对于所提取的声音片段，先用由多个非线性函数的连续应用组成的深度神经网络将说话人的声音转换成特征向量，一个说话人对应多个特征向量，该过程可以实现将环境噪音剔除，只提取说话人的声纹特征。声纹特征可由下式获得：

其中，y表示所提深度神经网络最后一个隐藏层的激活向量，spk表示当前说话人，表示所提声音片段所包含的所有可能的说话人。

在步骤(1)中，对提取特征后的混合声源进行说话人分离的具体方法为：

由上述步骤获得的声纹特征是混合的，有可能包含同一个说话人的不同声纹片段特征，为了对混合声纹特征进行说话人分离，用一个共享参数的有监督循环神经网络来获得不同声纹片段特征属于同一个说话人的概率，当概率大于阈值时，则可认为该声纹片段特征属于该说话人。概率可由下式获得：