[发明专利]一种基于多模态特征融合网络的说话人识别方法和装置

权利要求书

1.一种基于多模态特征融合网络的说话人识别方法，包括：

S1.获取包含图像序列，多通道音频序列的多模态序列信息；

S2.获取人脸图像序列信息；

S3.获取人脸图像序列对应的其他模态信息序列，组成人脸多模态信息序列；

S4.标注人脸多模态信息序列；

S5.建立多模态识别网络，将已标注人脸多模态信息序列作为训练集，训练所述多模态识别网络；

S6.将待识别人脸多模态信息序列输入所述多模态识别网络，计算得到人脸序列的说话状态。

2.根据权利要求1所述的说话人识别方法，其特征在于，S1所述的图像序列的多模态序列是指与包含图像序列的其他任意一种或多种模态信息序列，能直接通过硬件设备获取，亦可通过软件从获取的原始模态信息中计算得到。

3.根据权利要求1所述的说话人识别方法，其特征在于，S2所述的获取人脸多模态信息是指与从原始图像序列中计算得人脸区域，并从原始图像序列中提取出人脸图像序列。包括，对图像序列进行预处理，检测图像关键帧中的人脸位置，并在后续帧中使用跟踪方法，获取人脸序列图像。

4.根据权利要求1所述的说话人识别方法，其特征在于，S3所述的多模态信息序列，对所有模态信息进行时间方向对齐；S3所述多模态信息序列以帧为单位，各模态信息帧一一对应，需要上采样或下采样的模态信息，执行上采样或者下采样操作之后一一对应。

5.根据权利要求1所述的说话人识别方法，其特征在于，S4所述的标注人脸多模态信息序列，给整个序列逐帧标注一个标签，标签与多模态信息序列按帧一一对应，各模态帧序列的独立标签可以单独逐帧标注，亦可以直接获取整个序列的标签。

6.根据权利要求1所述的说话人识别方法，其特征在于，S5所述多模态识别网络包含两个部分：各模态特征提取网络若干个和多模态融合识别网络一个，所述各模态特征提取网络输入为各模态信息序列，代表一种模态的信息，各模态信息序列包含帧数相同，各模态的特征提取网络输出与输入帧数对应的特征数据，各模态的特征数据帧数相同，再将各模态特征数据输入所述特征多模态融合识别网络，输出最终每帧的预测结果。

7.根据权利要求8所述说话人识别方法，其特征在于，网络训练阶段，所述多模态融合识别网络输出的每帧最终识别结果，与每帧的标签计算损失函数，所用损失函数为交叉熵损失函数：

其中，n代表一个序列中的包含的帧数，yi为该帧的标签，0表示不说话，1表示说话；si为该帧的识别结果，值为0～1，表示是否为说话状态的概率；网络预测阶段，所述多模态融合识别网络输出的每帧最终识别结果即为本方法的最终识别结果。

8.根据权利要求8所述的说话人识别，其特征在于，在各自模态的特征提取网络后面引入额外的分类器，得到各自识别结果，分别与各自模态的标签计算交叉熵损失函数，记为loss_u,其中u＝1,……,k，k为序列包含的模态数量；

所述多模态融合识别网络输出的每帧最终识别结果，与多模态序列标签计算交叉熵损失函数，记为Loss_All；

所述计算loss_u和Loss_All的交叉熵损失函数计算方式为式(1)。

网络训练阶段，引入各模态各自的损失函数，如式(2)所示：

其中，α_u为当前模态损失函数的权重，取值为大于等于0的实数；

所述α_u可以等于0，即该阶段不引入该模态单独的损失函数；

预测阶段，整个网络输出采用最终分类器的识别结果。