[发明专利]应用于视频直播平台的虚拟机器人多模态交互方法和系统

说明书

本发明公开了一种应用于视频直播平台的虚拟机器人多模态交互方法，所述视频直播平台应用接入具备多模态交互能力的虚拟机器人，多模态交互方法包括以下步骤：在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；解析所述多模态数据和所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。本发明利用直播模式转换展示多方式的多模态交互，提高用户兴趣，保持用户粘性，改善用户体验。

技术领域

本发明涉及互联网直播平台技术领域，尤其涉及一种应用于视频直播平台的虚拟机器人多模态交互方法和系统。

背景技术

随着网络直播行业的发展，用户可以通过在网络直播平台上观看、做活动等方式领取虚拟奖品，并将获得的虚拟奖品赠送给自己喜欢的主播，进行互动，从而培养用户的观看习惯和平台粘性。

然而，在现有的网络直播平台中，监测主播直播状态的系统其尚不完善，并且主播表演方式单一，给用户带来的体验感不佳，因此提高直播平台的智能性，是现在急需解决的重要技术问题。

发明内容

为了解决上述技术问题，本申请的实施例首先提供了一种应用于视频直播平台的虚拟机器人多模态交互方法，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互方法包括以下步骤：多模态信息输入步骤，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；数据处理与模式判别步骤，解析所述多模态数据和/或所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；多模态交互信息输出步骤，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。

优选地，所述数据处理与模式判别包括：接收直播过程中的所述多模态数据，提取针对所述虚拟机器人的唤醒数据；进入与所述唤醒数据匹配的其中一种多模态交互模式中，并执行当前多模态交互模式下多模态交互及展示动作。

优选地，所述多模态交互模式包括：对话模式、表演基本模式、与观众交互模式和与其他虚拟机器人交互模式。

优选地，在所述数据处理与模式判别中，进一步，获取主播的针对模式转换设置的所述多模态指令；解析并响应所述模式转换设置，从当前多模态交互模式切换至其他多模态交互模式即目标直播辅助模式。

优选地，所述多模态数据和/或多模态指令包括：文字信息、语音信息、视觉信息、控制命令信息及其组合信息的一种或多种。

另一方面，本申请的实施例提出了一种存储介质，其上存储有可执行以上任一项所述的方法步骤的程序代码。

另一方面，本申请的实施例又提供了一种应用于视频直播平台的虚拟机器人多模态交互系统，所述视频直播平台的应用接入虚拟机器人，所述虚拟机器人具备多模态交互能力，所述多模态交互系统包括以下模块：多模态信息输入模块，在预设区域显示具有特定形象的虚拟机器人，进入默认直播辅助模式，实时接收直播间输入的多模态数据和多模态指令；数据处理与模式判别模块，解析所述多模态数据和所述多模态指令，利用所述虚拟机器人的所述多模态交互能力，判别并确定目标直播辅助模式；多模态交互信息输出模块，开启目标直播辅助模式，所述虚拟机器人根据目标直播辅助模式进行多模态交互及展示。

优选地，在所述数据处理与模式判别模块中，基于所述多模态数据，提取针对所述虚拟机器人的唤醒数据；进入与所述唤醒数据匹配的其中一种多模态交互模式，并执行当前多模态交互模式下多模态交互及展示动作。

优选地，所述多模态交互模式包括：对话模式、表演基本模式、与观众交互模式和与其他虚拟机器人交互模式。