[发明专利]基于数字人表情、嘴型及声音同步的用户跨平台交流方法

说明书

本发明公开了一种基于数字人表情、嘴型及声音同步的用户跨平台交流方法，在进行实时交流时，通过数据采集设备捕捉自己说话时的表情和嘴型动作数据的同时，也通过麦克风收集语音数据；本发明方案通过在相对独立发送的表情和嘴型数据以及语音数据添加同步标签，并实时在云端渲染的数字虚拟人的表情、嘴型动作和语音实现了数据同步，提高了用户使用体验；用户与数字虚拟人进行对话也给用户带来了全新的交互体验。

技术领域

本发明属于音视频同步技术领域，具体涉及一种基于数字人表情、嘴型及声音同步的用户跨平台交流方法。

背景技术

数字虚拟人(Digital Human)是通过虚拟现实技术，结合人机交互，高精度三维人像模拟、AI以及动作捕捉、面部表情捕捉等技术制作的拟真三维人。其中面部表情和说话时的嘴型动作的制作是数字虚拟人表现的重点和难点，数字虚拟人表情动作是否生动和话语匹配是数字虚拟人看起来是否逼真的重要判断依据。

当今，数字虚拟人在游戏、娱乐、影视领域广泛地被应用。这些行业中，往往都是通过面部表情捕捉设备，将真人说话时的面部表情和嘴型动作捕捉下来然后通过3D制作工具如Faceware、iClone、Maya等软件将这些表情和嘴型动作应用到数字虚拟人上，以便让数字虚拟人说话时的表情和嘴型动作看起来像真人一样。这种技术手段的问题是，人物表情和说话时的嘴型动作是事先制作好的，数字虚拟人无法和真人进行实时互动说话交流。

目前虽然也有实时驱动数字虚拟人的表情和嘴型动作的方法，但是效果和应用场景受到很大限制。受限于目前技术的发展，通过算法来驱动数字虚拟人的面部表情和嘴型动作，再配合AI与人的交互的效果往往不太理想。于是出现了通过手机摄像头、PC摄像头等轻量化设备捕捉真人面部表情和嘴型动作并实时驱动数字虚拟人，以便实现真人和数字虚拟人实时交流的技术方案。这种方案可以实现真人与数字虚拟人的互动交流对话，但问题在于，想要达到逼真的效果，数字虚拟人的实时渲染需要强大的图形图像和数据处理能力，这就严重限制了数字虚拟人在行业领域的应用和推广。

上述方案虽然可以通过云渲染的方式来解决数字虚拟人的实时渲染对终端设备要求过高的问题，但就是由于将渲染端放在了云端，和人物表情动作和嘴型动作的捕捉、声音的采集就分开了。摄像头等设备在进行实时面部表情和嘴型动作的捕捉以及说话声音采集后，通过网络将这些数据发送到云端，云端的服务器处理后，将最终渲染的画面和声音通过WebRTC协议串流到另一用户端浏览器上，这个过程受到网络条件等的影响，无法保证被传输的数据到另一用户端时，数字虚拟人说话的表情、嘴型动作和说话的内容是同步的。当数字虚拟人的表情动作、嘴型动作和说话的语音不同步时，用户体验是相当差的。

发明内容

针对现有技术中的上述不足，本发明提供的基于数字人表情、嘴型及声音同步的用户跨平台交流方法解决了现有的通过数字虚拟人进行互动交流时，数字虚拟人表情、嘴型和声音不同步，降低用户体验的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于数字人表情、嘴型及声音同步的用户跨平台交流方法，包括以下步骤：

S1、根据数据采集设备采集第一用户的面部表情及嘴型信息和声音信息，对其添加同步标签；

S2、将添加了同步标签的面部表情及嘴型信息和声音信息上传至云渲染服务器，根据其接收信息驱动数字虚拟人并进行实时渲染；

S3、通过云渲染服务器对渲染后的图像和第一用户声音进行编码压缩，并发送至第二用户的浏览器；

S4、通过第二用户的浏览器对接收到的编码压缩后的图像和第一用户声音进行解码，实时查看数字虚拟人的表情、嘴型及声音信息；

S5、重复步骤S1～S4，通过数字虚拟人在第一用户和第二用户之间建立互动交流，实现用户跨平台交流。

进一步地，所述步骤S1中，添加同步标签的方法具体为：