[发明专利]一种人机交互方法、系统及存储介质

权利要求书

1.一种人机交互方法，其特征在于，包括：

获取用户的人脸图像和语音输入；

对所述人脸图像和语音输入分别进行处理，以获取用户面部情绪、用户语音情绪、用户文字情绪和语意意图；

根据所述用户面部情绪、用户语音情绪、用户文字情绪确认用户情绪；

根据所述用户情绪和语意意图生成回复文本。

2.根据权利要求1所述的一种人机交互方法，其特征在于：所述对所述人脸图像和语音输入分别进行处理，以获取用户面部情绪、用户语音情绪、用户文字情绪和语意意图，具体包括：

调用预设的面部情绪识别模型对所述人脸图像进行处理，获取所述用户面部情绪；

调用预设的语音特征提取模型提取所述语音输入的语音特征；

调用预设的语音情绪识别模型对所述语音特征进行处理，获取所述用户语音情绪；

调用预设的语音识别模型将所述语音输入转换为文本文字；

调用预设的文字情绪识别模型对所述文本文字进行处理，获取所述用户文字情绪；

调用预设的自然语言理解模型对所述文本文字进行处理，获取所述语意意图。

3.根据权利要求2所述的一种人机交互方法，其特征在于：所述调用预设的面部情绪识别模型对所述人脸图像进行处理，获取所述用户面部情绪，具体包括：

所述面部情绪识别模型对所述人脸图像进行处理，对预设的各种面部情绪进行打分，其中，预设的面部情绪包括“中性”、“幸福”、“悲伤”、“惊讶”、“恐惧”、“厌恶”、“愤怒”、“轻蔑”、“困惑”；

将分值最高的面部情绪作为所述用户面部情绪。

4.根据权利要求3所述的一种人机交互方法，其特征在于：所述调用预设的语音情绪识别模型对所述语音特征进行处理，获取所述用户语音情绪，具体包括：

所述语音情绪识别模型对所述语音特征进行处理，对预设的各种语音情绪进行打分，其中，预设的语音情绪包括：“中性”、“愤怒”；

将分值最高的语音情绪作为所述用户语音情绪。

5.根据权利要求4所述的一种人机交互方法，其特征在于：所述调用预设的文字情绪识别模型对所述文本文字进行处理，获取所述用户文字情绪，具体包括：

所述文字情绪识别模型对所述文本文字进行处理，对预设的各种文字情绪进行打分，其中，预设的文字情绪包括：“中性”、“愤怒”、“幸福”、“悲伤”、“困惑”、“疲惫”、“焦虑”、“冷漠”；

将分值最高的文字情绪作为所述用户文字情绪。

6.根据权利要求5所述的一种人机交互方法，其特征在于：每种面部情绪的分值取值范围为[0,1]；

每种语音情绪的分值取值范围为[0,1]；

每种文字情绪的分值取值范围为[0,1]。

7.根据权利要求6所述的一种人机交互方法，其特征在于：根据所述用户面部情绪、用户语音情绪、用户文字情绪确认用户情绪，具体包括：

若用户面部情绪、用户语音情绪和用户文字情绪均为第一情绪，则将所述第一情绪作为所述用户情绪；或者，

若用户面部情绪、用户语音情绪和用户文字情绪中有两个是第二情绪、另一个是第三情绪，且所述第二情绪为“愤怒”、“幸福”或“悲伤”中的一种，则将所述第二情绪作为所述用户情绪；或者，

若用户面部情绪、用户语音情绪和用户文字情绪中有两个是第二情绪、另一个是第三情绪，且所述第二情绪为“中性”，则将所述第三情绪作为所述用户情绪；或者，

若用户面部情绪、用户语音情绪和用户文字情绪均不相同，且所述用户面部情绪不是“中性”，则将所述用户面部情绪作为所述用户情绪；或者，

若用户面部情绪、用户语音情绪和用户文字情绪均不相同，且所述用户面部情绪为“中性”，则比较所述用户语音情绪和用户文字情绪的分值大小，若所述用户语音情绪和用户文字情绪的分值大小相等，则将所述用户语音情绪作为所述用户情绪；若所述用户语音情绪和用户文字情绪的分值大小不同，将分值大的情绪作为所述用户情绪。