[发明专利]用于输出信息的方法和装置

说明书

本公开的实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括：获取人脸图像和语音信息；从人脸图像中提取与表情相关的第一情绪信息；从语音信息中提取与语音相关的第二情绪信息；对语音信息进行语音识别得到文字信息，从文字信息中提取与文字相关的第三情绪信息；将第一情绪信息和第二情绪信息、第三情绪信息进行融合并输出。该实施方式能够从多个角度来判断情绪，提高了情绪判断的准确性。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于输出信息的方法和装置。

背景技术

随着人工智能中人脸识别和人脸重建技术的发展，虚拟主播、虚拟主持人以及虚拟网络会议等技术应用也越来越普遍。这些应用一般来说是通过摄像头实时捕捉用户人脸数据，利用人脸识别算法实时计算脸部姿态(头部移动旋转等)、局部器官动作(睁眼闭眼、张嘴闭嘴等)和表情情绪(哭泣、大笑等)，然后把这些信息叠加到虚拟人脸上，驱动虚拟人脸动作和表情。其中虚拟人脸可能是完全手工建模的虚拟人脸，或者是通过算法采集用户人脸数据重建的虚拟人脸。

当前的三维人脸驱动仅考虑人脸表情情绪，这会有几个问题。一是人脸表情对于强烈的情绪表达比较明显(大哭大笑等)，但并不能表现出所有的情绪，其中很多细微的情绪表达，人脸识别算法很容易忽略。而且有很多人本身人脸表情就比较简单，不同的情绪在人脸表情上表现的变化不明显，很难区分。所以这导致一个问题是，仅使用人脸表情来驱动的虚拟三维人脸会导致表情僵硬，看起来非常不真实。

而且人的情绪表现方式非常广泛，包括语音信息以及说话的内容都能在不同层面表示当前用户情绪。而把这些不同表现方式的情绪一起考虑才能更好的识别出用户当前真实的情绪。

发明内容

本公开的实施例提出了用于输出信息的方法和装置。

第一方面，本公开的实施例提供了一种用于输出信息的方法，包括：获取人脸图像和语音信息；从人脸图像中提取与表情相关的第一情绪信息；从语音信息中提取与语音相关的第二情绪信息；对语音信息进行语音识别得到文字信息，从文字信息中提取与文字相关的第三情绪信息；将第一情绪信息和第二情绪信息、第三情绪信息进行融合并输出。

在一些实施例中，该方法还包括：基于融合后的情绪信息驱动虚拟三维人脸。

在一些实施例中，从人脸图像中提取与表情相关的第一情绪信息，包括：将人脸图像输入预先训练的图像分类模型，得到与表情相关的第一情绪信息。

在一些实施例中，从语音信息中提取与语音相关的第二情绪信息，包括：从语音信息中提取声纹特征；将声纹特征输入预先训练的语音分类模型，得到与语音相关的第二情绪信息。

在一些实施例中，从文字信息中提取与文字相关的第三情绪信息，包括：将文字信息输入预先训练的文字分类模型，得到与文字相关的第三情绪信息。

在一些实施例中，将第一情绪信息和第二情绪信息、第三情绪信息进行融合，包括：将第一情绪信息和第二情绪信息、第三情绪信息进行求和平均。

在一些实施例中，第一情绪信息和第二情绪信息、第三情绪信息分别包括情绪类型和情绪强度。

第二方面，本公开的实施例提供了一种用于输出信息的装置，包括：获取单元，被配置成获取人脸图像和语音信息；第一提取单元，被配置成从人脸图像中提取与表情相关的第一情绪信息；第二提取单元，被配置成从语音信息中提取与语音相关的第二情绪信息；第三提取单元，被配置成对语音信息进行语音识别得到文字信息，从文字信息中提取与文字相关的第三情绪信息；融合单元，被配置成将第一情绪信息和第二情绪信息、第三情绪信息进行融合并输出。

在一些实施例中，该装置还包括驱动单元，被配置成：基于融合后的情绪信息驱动虚拟三维人脸。

在一些实施例中，第一提取单元进一步被配置成：将人脸图像输入预先训练的图像分类模型，得到与表情相关的第一情绪信息。