[发明专利]基于数字人的人机交互方法、装置、电子设备及存储介质

权利要求书

1.一种基于数字人的人机交互方法，其特征在于，包括：

获取用户输入的控制指令；

对所述控制指令进行识别，得到待播报的目标音频；

依据所述目标音频生成数字人视频并播放，以通过数字人对所述目标音频进行播报。

2.根据权利要求1所述的方法，其特征在于，所述获取用户输入的控制指令，包括：

通过音频采集装置获取用户输入的控制指令，所述控制指令为语音控制指令；或者，

通过文本采集装置获取用户输入的控制指令，所述控制指令为文本控制指令。

3.根据权利要求2所述的方法，其特征在于，在所述控制指令为语音控制指令的情况下，所述对所述控制指令进行识别，得到待播报的目标音频，包括：

利用语音识别技术将所述控制指令转换成文本控制指令；

利用自然语音处理技术对转换得到的文本控制指令进行意图识别，得到所述用户的目标意图；

基于所述目标意图确定待播报的目标音频。

4.根据权利要求2所述的方法，其特征在于，在所述控制指令为文本控制指令的情况下，所述对所述控制指令进行识别，得到待播报的目标音频，包括：

利用自然语音处理技术对所述文本控制指令进行意图识别，得到所述用户的目标意图；

基于所述目标意图确定待播报的目标音频。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述目标意图确定待播报的目标音频，包括：

从预设的文件库中查找到与所述目标意图相匹配的目标文件；

若所述目标文件为音频文件，则将所述目标文件确定为待播报的目标音频；

若所述目标文件为视频文件，则将所述目标文件中的音频确定为待播放的目标音频；

若所述目标文件为文本文件，则利用从文本到语音TTS技术将所述目标文件转换成音频，将转换得到的音频确定为待播报的目标音频。

6.根据权利要求3或4所述的方法，其特征在于，所述基于所述目标意图确定待播报的目标音频，包括：

从预设的知识问答库中查找到与所述目标意图相匹配的解答文本；

利用TTS技术将所述解答文本转换成音频，将转换得到的音频确定为待播报的目标音频。

7.根据权利要求1所述的方法，其特征在于，所述依据所述目标音频生成数字人视频，包括：

依据所述目标音频确定数字人表情参数和数字人肢体动作参数；

利用所述数字人表情参数和所述数字人肢体动作参数，对预设的数字人形象进行渲染，得到数字人视频。

8.根据权利要求6所述的方法，其特征在于，依据所述目标音频确定数字人表情参数，包括：

针对所述目标音频中的每一音频帧，对所述音频帧进行特征提取，得到音频特征；

将所述音频特征输入至已训练的第一推理模型，得到数字人表情参数。

9.根据权利要求6所述的方法，其特征在于，依据所述目标音频确定数字人肢体动作参数，包括：

针对所述目标音频中的每一音频帧，对所述音频帧进行特征提取，得到音频特征，以及利用语音识别技术将所述音频帧转换成文本；

利用自然语音处理技术对转换得到的文本进行语义识别，得到对应的语义特征；

将所述音频特征和所述语义特征输入至已训练的第二推理模型，得到数字人肢体动作参数。

10.一种基于数字人的人机交互装置，其特征在于，包括：

指令获取模块，用于获取用户输入的控制指令；

指令识别模块，用于对所述控制指令进行识别，得到待播报的目标音频；

数字人生成模块，用于依据所述目标音频生成数字人视频并播放，以通过数字人对所述目标音频进行播报。