[发明专利]一种人机交互方法、系统及存储介质

说明书

本发明实施例公开了一种人机交互方法、系统及存储介质，方法包括：获取用户的人脸图像和语音输入；对所述人脸图像和语音输入分别进行处理，以获取用户面部情绪、用户语音情绪、用户文字情绪和语意意图；根据所述用户面部情绪、用户语音情绪、用户文字情绪确认用户情绪；根据所述用户情绪和语意意图生成回复文本。实施本申请的人机交互方法，机器人在与用户进行对话交流时，利用不同的模态组合进行互动，多方面考虑了用户面部情绪、用户语音情绪、用户文字情绪，最终确认出用户在进行当前对话时的用户情绪，根据用户情绪生成有情感的回覆文本对用户进行答复，进而从整体上提高人机互动的自然度与真实度，提高用户体验度。

技术领域

本发明涉及计算机软件技术领域，具体涉及一种人机交互方法、系统及存储介质。

背景技术

在现有的人工智能对话系统中，利用语料库以及模板来判断用户的对话内容，并生成回复文本进行回答。但对话系统该在与用户进行对话的过程中，没有结合用户表达的情绪来调整回答策略，给出符合用户当前情绪的回答。

在人与人的自然对话上，情绪是一个重要因素，人类会根据对方表达时的情绪来调整自己的回答策略，达到沟通的效果。

因此，现有技术中的缺陷是，在人工智能对话过程中，机器人不能结合用户情绪与用户进行交互，使机器人不能根据用户情绪给出符合该情绪下的回答，容易造成机器人与用户交流不自然，使用户体验度低。

发明内容

针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种人机交互方法、系统及存储介质，以解决背景技术中所提出的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种人机交互方法，包括：

获取用户的人脸图像和语音输入；

对所述人脸图像和语音输入分别进行处理，以获取用户面部情绪、用户语音情绪、用户文字情绪和语意意图；

根据所述用户面部情绪、用户语音情绪、用户文字情绪确认用户情绪；

根据所述用户情绪和语意意图生成回复文本。

可选的，所述对所述人脸图像和语音输入分别进行处理，以获取用户面部情绪、用户语音情绪、用户文字情绪和语意意图，具体包括：

调用预设的面部情绪识别模型对所述人脸图像进行处理，获取所述用户面部情绪；

调用预设的语音特征提取模型提取所述语音输入的语音特征；

调用预设的语音情绪识别模型对所述语音特征进行处理，获取所述用户语音情绪；

调用预设的语音识别模型将所述语音输入转换为文本文字；

调用预设的文字情绪识别模型对所述文本文字进行处理，获取所述用户文字情绪；

调用预设的自然语言理解模型对所述文本文字进行处理，获取所述语意意图。

可选的，所述调用预设的面部情绪识别模型对所述人脸图像进行处理，获取所述用户面部情绪，具体包括：

所述面部情绪识别模型对所述人脸图像进行处理，对预设的各种面部情绪进行打分，其中，预设的面部情绪包括“中性”、“幸福”、“悲伤”、“惊讶”、“恐惧”、“厌恶”、“愤怒”、“轻蔑”、“困惑”；

将分值最高的面部情绪作为所述用户面部情绪。

可选的，所述调用预设的语音情绪识别模型对所述语音特征进行处理，获取所述用户语音情绪，具体包括：

所述语音情绪识别模型对所述语音特征进行处理，对预设的各种语音情绪进行打分，其中，预设的语音情绪包括：“中性”、“愤怒”；

将分值最高的语音情绪作为所述用户语音情绪。