[发明专利]应用于视频直播平台的虚拟机器人多模态交互方法和系统

权利要求书

1.一种应用于视频直播平台的虚拟机器人多模态交互方法，其特征在于，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互方法包括以下步骤：

多模态信息输入步骤，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；

数据处理与模式判别步骤，解析所述多模态数据和/或所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式，其中：

在接收直播过程中的所述多模态数据时，提取针对所述虚拟机器人的唤醒数据，所述唤醒数据是指主播在直播过程中叫出所述虚拟机器人的名字和/或主播侧脸朝向所述虚拟机器人的数据，其中，侧脸检测角度范围为45°～90°；

进入与所述唤醒数据匹配的基于应答对话数据库搜索下的对话交互模式中，并执行当前多模态交互模式下多模态交互及展示动作；

获取主播的针对模式转换设置的所述多模态指令；

解析并响应所述模式转换设置，从当前对话交互模式切换至所述目标直播辅助模式，所述目标直播辅助模式包括表演基本模式、与观众交互模式和与其他虚拟机器人交互模式，其中，在对话交互模式下，若获取到表演形式命令则虚拟机器人进入到表演基本模式，若获取到与观众交互控制命令则虚拟机器人进入到与观众交互模式，若获取到与其他智能机器人交互控制命令则虚拟机器人进入到与其他虚拟机器人交互模式，若无应答信息输出则虚拟机器人进入对话模式中的缓冲状态以填补由于应答响应时间过长导致直播过程出现时间空白；

多模态交互信息输出步骤，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。

2.根据权利要求1所述的方法，其特征在于，

所述多模态数据和/或多模态指令包括：文字信息、语音信息、视觉信息、控制命令信息及其组合信息的一种或多种。

3.一种存储介质，其上存储有可执行如权利要求1或2所述的方法步骤的程序代码。

4.一种应用于视频直播平台的虚拟机器人多模态交互系统，其特征在于，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互系统包括以下模块：

多模态信息输入模块，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；

数据处理与模式判别模块，解析所述多模态数据和所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式，其中，

在接收直播过程中的所述多模态数据时，提取针对所述虚拟机器人的唤醒数据，所述唤醒数据是指主播在直播过程中叫出所述虚拟机器人的名字和/或主播侧脸朝向所述虚拟机器人的数据，其中，侧脸检测角度范围为45°～90°；

进入与所述唤醒数据匹配的基于应答对话数据库搜索下的对话交互模式，并执行当前多模态交互模式下多模态交互及展示动作；

获取主播的针对模式转换设置的所述多模态指令；

解析并响应所述模式转换设置，从当前多模态交互模式切换至所述目标直播辅助模式，所述目标直播辅助模式包括表演基本模式、与观众交互模式和与其他虚拟机器人交互模式，其中，在对话交互模式下，若获取到表演形式命令则虚拟机器人进入到表演基本模式，若获取到与观众交互控制命令则虚拟机器人进入到与观众交互模式，若获取到与其他智能机器人交互控制命令则虚拟机器人进入到与其他虚拟机器人交互模式，若无应答信息输出则虚拟机器人进入对话模式中的缓冲状态以填补由于应答响应时间过长导致直播过程出现时间空白；

多模态交互信息输出模块，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。

5.根据权利要求4所述的系统，其特征在于，

所述多模态数据和/或所述多模态指令包括：文字信息、语音信息、视觉信息、控制命令信息及其组合信息的一种或多种。