[发明专利]基于语音数据的情绪识别方法、装置及存储介质

权利要求书

1.一种基于语音数据的情绪识别方法，其特征在于，包括下述步骤：

获取用户的语音数据；

将所述语音数据转换为文本数据；

采用预设的语音情绪模型对所述语音数据进行情绪识别，输出语音情绪标签，所述语音情绪模型为包括极端梯度提升Xgboost模型和长短期记忆网络LSTM模型的组合模型；

采用预设的文本情绪模型对所述文本数据进行情绪识别，输出文本情绪标签；

根据所述语音情绪标签和所述文本情绪标签，确定综合情绪标签。

2.根据权利要求1所述的情绪识别方法，其特征在于，在所述采用预设的文本情绪模型对所述文本数据进行情绪识别，输出文本情绪标签的步骤之后，所述情绪识别方法还包括：

根据所述语音情绪标签判断所述语音数据是否存在违规；

根据所述文本情绪标签判断所述语音数据是否存在违规；

根据所述语音情绪标签和所述文本情绪标签分别指示的违规判定结果，确定所述语音数据的违规程度。

3.根据权利要求2所述的情绪识别方法，其特征在于，所述文本情绪模型包括XLnet模型，所述采用预设的文本情绪模型对所述文本数据进行情绪识别，输出文本情绪标签的步骤具体包括：

采用所述XLnet模型对所述文本数据进行情绪识别，输出文本情绪标签。

4.根据权利要求3所述的情绪识别方法，其特征在于，所述根据所述文本情绪标签判断所述语音数据是否存在违规的步骤具体包括：

在所述文本情绪标签为违规情绪标签时，则对所述文本数据进行软暴力词汇匹配，在确定所述文本数据中存在所述软暴力词汇时，确定所述语音数据存在违规；

在所述文本情绪标签不为违规情绪标签，或者为违规情绪标签但未在所述文本数据中匹配到所述软暴力词汇时，确定所述语音数据不存在违规。

5.根据权利要求2所述的情绪识别方法，其特征在于，所述文本情绪模型包括XLnet模型和HAN模型，所述采用预设的文本情绪模型对所述文本数据进行情绪识别，输出文本情绪标签的步骤具体包括：

采用所述XLnet模型对所述文本数据进行情绪识别，输出第一文本情绪标签；

若所述第一文本情绪标签为违规情绪标签，则将所述文本数据以及上下文文本数据输入多层注意力模型HAN模型，输出第二文本情绪标签；

所述根据所述文本情绪标签判断所述语音数据是否存在违规的步骤具体包括：

根据所述第二文本情绪标签确定所述语音数据是否存在违规。

6.根据权利要求1所述的情绪识别方法，其特征在于，

所述获取用户的语音数据的步骤具体包括：

获取对话机器人与用户的对话中，用户的语音数据；

在所述根据所述语音情绪标签和所述文本情绪标签，确定综合情绪标签的步骤之后，所述情绪识别方法还包括：

根据所述综合情绪标签生成回复语句。

7.根据权利要求1-6中任一项所述的情绪识别方法，其特征在于，所述根据所述语音情绪标签和所述文本情绪标签，确定综合情绪标签步骤，具体包括：

根据预先设置的对应规则，确定与所述语音情绪标签和所述文本情绪标签的组合对应的综合情绪标签，所述对应规则包括不同语音情绪标签和不同文本情绪标签的组合与综合情绪标签的对应关系。

8.一种基于语音数据的情绪识别装置，其特征在于，包括：

获取单元，用于获取用户的语音数据；

转换单元，用于将所述语音数据转换为文本数据；

第一情绪识别单元，用于采用预设的语音情绪模型对所述语音数据进行情绪识别，输出语音情绪标签，所述语音情绪模型为包括Xgboost模型和LSTM模型的组合模型；

第二情绪识别单元，用于采用预设的文本情绪模型对所述文本数据进行情绪识别，输出文本情绪标签；

第三情绪识别单元，用于根据所述语音情绪标签和所述文本情绪标签，确定综合情绪标签。