[发明专利]基于虚拟人的多模态交互处理方法及系统

摘要

本发明公开了一种基于虚拟人的多模态交互处理方法及系统，虚拟人在智能设备运行，该方法包括如下步骤在虚拟人唤醒状态时，虚拟人显示在预设显示区域内，虚拟人具备特定明星人物的属性；获取多模态数据；调用虚拟人能力接口解析多模态输入数据以获取用户针对该明星人物的技能展示意图；根据该明星人物的社会属性、人格属性和人物技能响应技能展示意图，输出与技能展示意图匹配的多模态输出数据，将输出的多模态输出数据匹配虚拟人嘴型、面部表情、动作和/或肢体的执行参数并展示在预设显示区域内。本发明实现了虚拟明星与用户的多模态交互，能够更好地满足用户需求，并通过虚拟明星进行歌唱、舞蹈等作品的演绎，以增加虚拟人与用户或该明星粉丝之间的互动形式，改善用户体验。

主权项

一种基于虚拟人的多模态交互处理方法，其特征在于，所述虚拟人在智能设备运行，该方法包括如下步骤：在虚拟人唤醒状态时，所述虚拟人显示在预设显示区域内，所述虚拟人具备特定明星人物的属性；获取多模态数据，所述多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据；调用虚拟人能力接口解析所述多模态输入数据以获取用户针对该明星人物的技能展示意图；根据该明星人物的社会属性、人格属性和人物技能响应所述技能展示意图，输出与所述技能展示意图匹配的多模态输出数据，所述多模态输出数据包括但不限于：该明星人物声音合成数据、歌曲及肢体动作；将输出的多模态输出数据匹配虚拟人嘴型、面部表情、动作和/或肢体的执行参数并展示在预设显示区域内。