[发明专利]一种基于多模态的人机交互方法及装置

权利要求书

1.一种基于多模态的人机交互方法，包括：

获取用户通过终端输入的多模态信息；

从所述多模态信息中提取用户指令和用户语言；

通过指令处理器确定针对所述用户指令的第一输出内容；

通过自然语言处理器确定针对所述用户语言的第二输出内容；

基于所述第一输出内容和所述第二输出内容的融合，确定针对所述用户的回应内容。

2.根据权利要求1所述的方法，所述多模态信息包括以下种类中的至少一种：语音信息、视频信息、文本信息；所述文本信息包括用户通过输入操作输入的语言文本和事件文本。

3.根据权利要求2所述的方法，所述从所述多模态信息中提取用户指令和用户语言的步骤，包括：

基于预设指令，从所述多模态信息包含的任意种类信息中提取用户指令；

从所述多模态信息包含的语音信息和语言文本中提取用户语言。

4.根据权利要求1所述的方法，所述方法还包括：

从所述多模态信息中提取用户特征；

所述通过指令处理器确定针对所述用户指令的第一输出内容的步骤，包括：

基于所述用户特征，通过指令处理器确定针对所述用户指令的第一输出内容；

所述通过自然语言处理器确定针对所述用户语言的第二输出内容的步骤，包括：

基于所述用户特征，通过自然语言处理器确定针对所述用户语言的第二输出内容。

5.根据权利要求1所述的方法，所述通过指令处理器确定针对所述用户指令的第一输出内容的步骤，包括：

基于第二中间输出，通过指令处理器确定针对所述用户指令的第一输出内容；其中，所述第二中间输出是所述自然语言处理器针对所述用户语言确定的中间输出。

6.根据权利要求1所述的方法，所述通过自然语言处理器确定针对所述用户语言的第二输出内容的步骤，包括：

基于第一中间输出，通过自然语言处理器确定针对所述用户语言的第二输出内容；其中，所述第一中间输出是所述指令处理器针对所述用户指令确定的中间输出。

7.根据权利要求1所述的方法，所述通过指令处理器确定针对所述用户指令的第一输出内容的步骤，包括：

通过所述指令处理器中标准作业程序的标准化操作，确定针对所述用户指令的第一输出内容。

8.根据权利要求1所述的方法，所述确定针对所述用户的回应内容的步骤，包括：

基于预先设置的融合决策，对所述第一输出内容和所述第二输出内容进行融合，得到针对所述用户的回应内容。

9.根据权利要求1所述的方法，所述确定针对所述用户的回应内容的步骤，包括：

基于训练的融合模型，确定对所述第一输出内容和所述第二输出内容进行融合后的结果，基于所述融合后的结果确定针对所述用户的回应内容。

10.根据权利要求1所述的方法，在确定针对所述用户的回应内容之后，还包括：

基于所述回应内容包含的多模态种类，对所述回应内容进行分类；

采用对应的模态输出方式，通过所述终端对分类后的回应内容进行输出。

11.根据权利要求1所述的方法，所述方法通过服务器执行，或者所述方法通过所述终端执行。

12.一种基于多模态的人机交互装置，包括：

获取模块，配置为获取用户通过终端输入的多模态信息；

提取模块，配置为从所述多模态信息中提取用户指令和用户语言；

第一确定模块，配置为通过指令处理器确定针对所述用户指令的第一输出内容；

第二确定模块，配置为通过自然语言处理器确定针对所述用户语言的第二输出内容；

融合模块，配置为基于所述第一输出内容和所述第二输出内容的融合，确定针对所述用户的回应内容。