[发明专利]一种虚拟数字人驱动方法和系统

说明书

本发明提供了一种虚拟数字人驱动方法和系统，该方法通过获取虚拟数字人的输入信息，其中，输入信息包括语音文本文件和肢体动作文件，分别将根据语音文本文件生成对应的面部动作控制序列数据，根据肢体动作文件生成对应的肢体动作控制序列数据，根据面部动作控制序列数据和肢体动作控制序列数据生成虚拟数字人动作控制序列数据，基于虚拟数字人动作控制序列数据播放虚拟数字人语音、以及展示虚拟数字人肢体动作与面部动作。采用上述技术方案，相对于无耦合式虚拟数字人驱动方案，虚拟数字人的动作与语音协调一致，满足用户的使用需求，相对于紧耦合式虚拟数字人驱动方案，本技术方案的开发成本较低，具有更好的实用性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种虚拟数字人驱动方法和系统。

背景技术

随着互联网与数字媒体技术的发展，虚拟数字人技术在各行各业的应用开始涌现。在客服机器人、数字员工、虚拟主播、智能助手等应用领域，虚拟数字人正在发挥着日益重要的交互媒介作用。从技术角度而言，所谓虚拟数字人是指使用程序、算法等计算机技术驱动的，具有类似于人类外观和行为特征的数字化形象。

目前，虚拟数字人驱动方案包括无耦合式虚拟数字人驱动方案和紧耦合式虚拟数字人驱动方案。其中，无耦合式虚拟数字人驱动方案是指动作生成组件与语音生成组件独立设计、分别工作的方案，无耦合式虚拟数字人驱动方案不需要使用多模态控制技术，因此技术难度小，容易实现，开发成本相对较低，但是，无耦合式虚拟数字人驱动方案面部动作描述与语音文本内容的协调一致需要调用者来仔细维护。因此，其最终用户体验难以保证，其效果往往较差；紧耦合式虚拟数字人驱动方案是指动作生成组件与语音生成组件作为统一整体设计并工作的方案，这类方案一般出现在面向特定应用领域设计的专业化虚拟数字人系统设计中。紧耦合式虚拟数字人驱动方案一般依赖于多模态控制技术，例如融合了语音与面部动作生成能力的人工智能算法，因此其技术难度大，实现复杂度高，开发成本相对较高。

在实际应用过程中，虚拟数字人的动作与语音是否协调一致，是判断其感官体验是否良好的重要依据。因此，如何提供一种虚拟数字人驱动方法，并控制开发成本，是本领域技术人员需要解决的问题。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种虚拟数字人驱动方法和一种虚拟数字人驱动系统。

为了解决上述问题，本发明实施例公开了一种虚拟数字人驱动方法，所述方法包括：

获取输入信息，所述输入信息包括语音文本文件和肢体动作文件；

根据所述语音文本文件生成对应的面部动作控制序列数据；

根据所述肢体动作文件生成对应的肢体动作控制序列数据；

根据所述面部动作控制序列数据和所述肢体动作控制序列数据生成虚拟数字人动作控制序列数据；

基于所述虚拟数字人动作控制序列数据播放虚拟数字人语音、以及展示与所述虚拟数字人语音对应的虚拟数字人肢体动作与面部动作。

可选的，所述根据所述语音文本文件生成对应的面部动作控制序列数据，包括：

根据所述语音文本文件生成对应的语音信号，所述语音信号通过对所述语音文本文件进行机器模拟朗读后生成；

将所述语音信号传输至面部动作转换组件，并通过所述面部动作转换组件将所述语音信号转换为面部动作描述文件；

根据所述面部动作描述文件生成对应的面部动作控制序列数据。

可选的，所述将所述语音信号传输至面部动作转换组件，并通过所述面部动作转换组件将所述语音信号转换为面部动作描述文件，包括：

解析所述语音信号，并从所述语音信号中提取与面部动作相关的语音信息，并生成语音关键信息数据结构；