[发明专利]表情驱动方法、系统及计算机设备

说明书

本申请实施例提供一种表情驱动方法、系统及计算机设备，通过目标对象的各个面部表情对应的多视角表情图像序列进行多视角重建获得各面部表情分别对应的三维表情模型，然后通过所述面部表情分别对应的多视角表情图像序列以及各所述面部表情分别对应的三维表情模型，对预设的神经网络进行训练，得到表情预测神经网络，最后，将获取的所述目标对象的面部图像输入所述表情预测神经网络，得到所述目标对象的三维表情模型，并根据所述三维表情模型对直播画面中的虚拟数字形象的面部表情进行驱动。如此，通过更加逼真的虚拟数字形象对目标对象(如主播)的面部表情进行更为精准且细腻的表达，让直播更加生动有趣、可大大提升虚拟直播的效果及用户体验。

技术领域

本申请涉及基于人工智能的数字化直播相关技术领域，具体而言，涉及一种表情驱动方法、系统及计算机设备。

背景技术

随着移动互联网技术以及网络通信技术的不断发展，网络直播在人们的日常工作及生活中得到了迅速的发展及应用。例如，用户可以通过智能手机、电脑、平板电脑等设备在线观看直播平台的各种主播提供的直播内容，又或者，用户也可以通过智能手机、电脑、平板电脑等设备随时随地在相应的直播平台提供直播内容，以供他人观看。在一些特定的直播场景中，为了提供多样化的直播体验，基于虚拟数字形象的虚拟直播方式也得到了广泛的应用。相较于真人主播进行直播的方式，虚拟直播无需主播进行真人互动，主播可在后台通过控制虚拟数字形象模拟后台主播的行为进行直播互动。在基于虚拟数字形象的虚拟直播应用场景中，虚拟数字形象的表情驱动是虚拟直播的一项重要技术分支。现有较为常见的一些用于对虚拟数字形象进行表情驱动的方案，大多存在驱动精度较低而导致虚拟数字形象的表情表达不够细腻的问题。

发明内容

基于以上内容，第一方面，本申请实施例提供一种表情驱动方法，所述方法包括：

通过图像采集设备从多个视角对目标对象的多个面部表情分别进行表情图像拍摄，获得所述目标对象的每个面部表情对应的多视角表情图像序列；其中，每个所述面部表情对应的多视角表情图像序列包括分别从多个不同的视角对所述目标对象的该面部表情进行拍摄而分别获得的每个视角下的至少一个面部表情图像；

根据各所述面部表情分别对应的多视角表情图像序列，通过多视角重建获得各所述面部表情分别对应的三维表情模型；

通过所述面部表情分别对应的多视角表情图像序列以及各所述面部表情分别对应的三维表情模型，对预设的神经网络进行训练，得到表情预测神经网络；

将获取的所述目标对象的面部图像输入所述表情预测神经网络，得到所述目标对象的三维表情模型，并根据所述三维表情模型对直播画面中的虚拟数字形象的面部表情进行驱动。

基于第一方面的一种可能的实施方式，根据各所述面部表情分别对应的多视角表情图像序列，通过多视角重建获得各所述面部表情分别对应的三维表情模型，包括：

针对每个所述多视角表情图像序列，对所述多视角表情图像序列中的各面部表情图像进行关键点提取，得到各面部表情图像包括的面部关键点；

将所述多视角表情图像序列中的一个面部表情图像作为参考图像，依次遍历该参考图像中的每个面部关键点，查找所述多视角表情图像序列中的其他面部表情图像中与所述参考图像中的各面部关键点相对应的面部关键点；

根据查找到的其他面部表情图像中与所述参考图像中的各面部关键点相对应的面部关键点，确定所述参考图像中各面部关键点的位置信息；

根据各所述面部关键点的位置信息重建得到所述多视角表情图像序列对应的面部表情的三维表情模型。

基于第一方面的一种可能的实施方式，通过所述面部表情分别对应的多视角表情图像序列以及各所述面部表情分别对应的三维表情模型，对预设的神经网络进行训练，得到表情预测神经网络，包括：

对各所述面部表情分别对应的三维表情模型进行拓扑映射得到符合设定规则的规则化三维网格模型；