[发明专利]一种基于多模态特征融合网络的说话人识别方法和装置

说明书

一种基于多模态特征融合的说话人识别方法，包括：获取包含图像序列等多模态序列信息；获取人脸图像序列信息；获取人脸图像序列对应的其他模态信息序列；建立多模态特征融合网络，将所述人脸多模态序列信息作为训练集，训练所述多模态特征融合网络；将待识别人脸多模态序列信息输入所述多模态特征融合网络，得到当前人说话状态。本发明还包括一种基于多模态特征融合的说话人识别装置。本发明能够融合不同模态的特征，丰富所提取特征的信息量，提升说话人识别准确度。

技术领域

本发明涉及机器人视觉说话人检测领域，尤其涉及一种识别说话人的方法和装置。

背景技术

说话人分类是指自动区分一段音频中出现的不同说话人，并将音频按照不同说话人分成对应的音频。但是对于某些多说话人的场景，说话人自动分类则很难准确，为此，引入基于图像序列和音频序列混合信息的识别方法。混合信息识别方法能够很大程度提升识别的精确度。与此同时，由于当前主流的混合信息识别方法一般只基于两种信息：单通道音频和图像。在机器人应用领域，机器人一般配置多通道麦克风，且麦克风和摄像头的安装位置固定，则可以引入声源定位信息及说话人位于图像中的位置信息，使用多模态信息识别说话人的方法明显比是使用视频及单通道音频的方法精度高。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于多模态特征融合网络的说话人识别方法和装置，用于提升相关技术的识别精度的问题。

本发明的一种基于多模态特征融合网络的说话人识别方法，包括：

S1.获取包含图像序列，多通道音频序列的多模态序列信息；

S2.获取人脸图像序列信息；

S3.获取人脸图像序列对应的其他模态信息序列，组成人脸多模态信息序列；

S4.标注人脸多模态信息序列；

S5.建立多模态识别网络，将已标注人脸多模态信息序列作为训练集，训练所述多模态识别网络；

S6.将待识别人脸多模态信息序列输入所述多模态识别网络，计算得到人脸序列的说话状态。

进一步，S1所述的图像序列的多模态序列是指与包含图像序列的其他任意一种或多种模态信息序列，能直接通过硬件设备获取，亦可通过软件从获取的原始模态信息中计算得到。

进一步，S2所述的获取人脸多模态信息是指与从原始图像序列中计算得人脸区域，并从原始图像序列中提取出人脸图像序列。包括，对图像序列进行预处理，检测图像关键帧中的人脸位置，并在后续帧中使用跟踪方法，获取人脸序列图像。

进一步，S3所述的多模态信息序列，对所有模态信息进行时间方向对齐；S3所述多模态信息序列以帧为单位，各模态信息帧一一对应，需要上采样或下采样的模态信息，执行上采样或者下采样操作之后一一对应。

进一步，S4所述的标注人脸多模态信息序列，给整个序列逐帧标注一个标签，标签与多模态信息序列按帧一一对应，各模态帧序列的独立标签可以单独逐帧标注，亦可以直接获取整个序列的标签。

进一步，S5所述多模态识别网络包含两个部分：各模态特征提取网络若干个和多模态融合识别网络一个，所述各模态特征提取网络输入为各模态信息序列，代表一种模态的信息，各模态信息序列包含帧数相同，各模态的特征提取网络输出与输入帧数对应的特征数据，各模态的特征数据帧数相同，再将各模态特征数据输入所述特征多模态融合识别网络，输出最终每帧的预测结果。

进一步，其特征在于，网络训练阶段，所述多模态融合识别网络输出的每帧最终识别结果，与每帧的标签计算损失函数，所用损失函数为交叉熵损失函数：