[发明专利]虚拟数字人交互方法、电子设备、系统及存储介质

说明书

本发明涉及人工智能技术领域，具体提供一种虚拟数字人交互方法、电子设备、系统及存储介质，旨在解决虚拟数字人采集多种信息之后响应速度较慢、与用户进行交互时用户体验感较差的问题。为此目的，本发明的方法包括获取多模态感知数据，其中多模态感知数据包括视觉感知数据、听觉感知数据和环境感知数据中至少两种，基于多模态感知数据获取用户权限信息，基于用户权限信息和多模态感知数据获取交互信息，基于交互信息与用户进行交互。通过上述实施方式，可以针对不同用户提供不同的交互服务，提高用户的使用体验，通过用户权限信息和多模态感知数据获取交互信息，能够提升虚拟数字人的响应速度，提升交互效果。

技术领域

本发明涉及人工智能技术领域，具体涉及一种虚拟数字人交互方法、电子设备、系统及存储介质。

背景技术

随着虚拟数字人核心技术与周边技术的不断发展与推进，虚拟数字人产品与方案将会越来越成熟、规范，生产者、消费者也将不断要求虚拟数字人能够脱去虚拟的外衣，变得越来越智慧，越来越拟人。虚拟数字人通过感知设备能够采集多种外界信息，达到“耳朵听”和“眼睛看”等人类感官的作用和能力。

但是，虚拟数字人在采集多种信息之后响应速度较慢，并且在与用户进行交互时，仅能根据不同用户展示不同的声音、表情和动作等，并未针对不同用户开放不同的服务权限，导致用户的交互体验性较差。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决虚拟数字人采集多种信息之后响应速度较慢、与用户进行交互时用户体验感较差的技术问题的一种虚拟数字人交互方法、电子设备、系统及存储介质。

在第一方面，提供一种虚拟数字人交互方法，所述方法包括：

获取多模态感知数据，所述多模态感知数据包括视觉感知数据、听觉感知数据和环境感知数据中至少两种；

基于所述多模态感知数据获取用户权限信息；

基于所述用户权限信息和所述多模态感知数据获取交互信息；

基于所述交互信息与用户进行交互。

在上述虚拟数字人交互方法的一个技术方案中，基于所述多模态感知数据获取用户权限信息包括：

基于所述视觉感知数据和/或所述听觉感知数据确认用户身份信息；

基于所述用户身份信息判断所述用户的权限等级。

在上述虚拟数字人交互方法的一个技术方案中，所述基于所述用户权限信息和所述多模态感知数据获取交互信息包括：

若所述用户的权限等级高于预设权限等级，则基于所述用户的权限等级和所述多模态感知数据获取所述交互信息；

否则，基于所述预设权限等级和所述多模态感知数据获取所述交互信息。

在上述虚拟数字人交互方法的一个技术方案中，所述获取多模态感知数据包括基于多个不同种类感知设备分别获取所述视觉感知数据、所述听觉感知数据和所述环境感知数据中至少两种；所述基于所述用户权限信息和所述多模态感知数据获取交互信息包括：

将所述多个不同种类感知设备获取的所述多模态感知数据进行统一封装，转换为相同格式的感知信息；

对所述感知信息进行特征提取，得到用户信息和环境信息；

将所述用户信息和所述环境信息进行融合分析，得到感知结果；

基于所述用户权限信息和所述感知结果获取所述交互信息。

在上述虚拟数字人交互方法的一个技术方案中，所述基于所述交互信息与用户进行交互包括：