[发明专利]一种基于语音和文字的情绪识别方法

权利要求书

1.一种基于语音和文字的情绪识别方法，其特征是，所述方法包括：

实时获取语音对话过程中的第一内容，所述第一内容为至少包含一个完整句子的wav格式的音频文件；

将所述第一内容通过ASR转换成第一文本；

将所述第一文本分词后输入NLP模型获得所述第一内容的文本情绪；

通过VAD切割所述第一内容的静音部分获得第二内容；

获取所述第二内容的fbank特征，进行矩阵变换后获得所述第二内容的多个语音图谱信息；

将所述多个语音图谱信息输入声纹模型中，获得所述第二内容的声音情绪；

将所述文本情绪和声音情绪进行加权融合获得所述第一内容的最终情绪。

2.根据权利要求1所述的一种基于语音和文字的情绪识别方法，其特征是，将所述文本情绪和声音情绪进行加权融合获得所述第一内容的最终情绪包括：

步骤S1：判断所述声音情绪的softmax分类阈值；

步骤S2：若存在所述声音情绪的softmax分类阈值≥80％的，将所述声音情绪作为所述第一内容的最终情绪，若否，执行步骤S3；

步骤S3：判断所述文本情绪的softmax分类阈值；

步骤S4：若存在所述文本情绪的softmax分类阈值≥80％的，将所述文本情绪作为所述第一内容的最终情绪，若否，执行步骤S5；

步骤S5：将无法识别作为所述第一内容的最终情绪。

3.根据权利要求2所述的一种基于语音和文字的情绪识别方法，其特征是，将所述文本情绪和声音情绪进行加权融合获得所述第一内容的最终情绪还包括：

若存在所述声音情绪的softmax分类阈值和所述文本情绪的softmax分类阈值均＞50％，且对应的声音情绪的softmax分类和文本情绪的softmax分类不一致的，将无法识别作为所述第一内容的最终情绪。