[发明专利]用于输出信息的方法和装置

权利要求书

1.一种用于输出信息的方法，包括：

获取人脸图像和语音信息；

从所述人脸图像中提取与表情相关的第一情绪信息；

从所述语音信息中提取与语音相关的第二情绪信息；

对所述语音信息进行语音识别得到文字信息，从所述文字信息中提取与文字相关的第三情绪信息；

将所述第一情绪信息和所述第二情绪信息、所述第三情绪信息进行融合并输出。

2.根据权利要求1所述的方法，其中，所述方法还包括：

基于融合后的情绪信息驱动虚拟三维人脸。

3.根据权利要求1所述的方法，其中，所述从所述人脸图像中提取与表情相关的第一情绪信息，包括：

将所述人脸图像输入预先训练的图像分类模型，得到与表情相关的第一情绪信息。

4.根据权利要求1所述的方法，其中，所述从所述语音信息中提取与语音相关的第二情绪信息，包括：

从所述语音信息中提取声纹特征；

将所述声纹特征输入预先训练的语音分类模型，得到与语音相关的第二情绪信息。

5.根据权利要求1所述的方法，其中，所述从所述文字信息中提取与文字相关的第三情绪信息，包括：

将所述文字信息输入预先训练的文字分类模型，得到与文字相关的第三情绪信息。

6.根据权利要求1所述的方法，其中，所述将所述第一情绪信息和所述第二情绪信息、所述第三情绪信息进行融合，包括：

将所述第一情绪信息和所述第二情绪信息、所述第三情绪信息进行求和平均。

7.根据权利要求1-6之一所述的方法，其中，所述第一情绪信息和所述第二情绪信息、所述第三情绪信息分别包括情绪类型和情绪强度。

8.一种用于输出信息的装置，包括：

获取单元，被配置成获取人脸图像和语音信息；

第一提取单元，被配置成从所述人脸图像中提取与表情相关的第一情绪信息；

第二提取单元，被配置成从所述语音信息中提取与语音相关的第二情绪信息；

第三提取单元，被配置成对所述语音信息进行语音识别得到文字信息，从所述文字信息中提取与文字相关的第三情绪信息；

融合单元，被配置成将所述第一情绪信息和所述第二情绪信息、所述第三情绪信息进行融合并输出。

9.根据权利要求8所述的装置，其中，所述装置还包括驱动单元，被配置成：

基于融合后的情绪信息驱动虚拟三维人脸。

10.根据权利要求8所述的装置，其中，所述第一提取单元进一步被配置成：

将所述人脸图像输入预先训练的图像分类模型，得到与表情相关的第一情绪信息。

11.根据权利要求8所述的装置，其中，所述第二提取单元进一步被配置成：

从所述语音信息中提取声纹特征；

将所述声纹特征输入预先训练的语音分类模型，得到与语音相关的第二情绪信息。

12.根据权利要求8所述的装置，其中，所述第三提取单元进一步被配置成：

将所述文字信息输入预先训练的文字分类模型，得到与文字相关的第三情绪信息。

13.根据权利要求8所述的装置，其中，所述融合单元进一步被配置成：

将所述第一情绪信息和所述第二情绪信息、所述第三情绪信息进行求和平均。

14.根据权利要求8-13之一所述的装置，其中，所述第一情绪信息和所述第二情绪信息、所述第三情绪信息分别包括情绪类型和情绪强度。