[发明专利]一种虚拟人物表情驱动方法及系统

说明书

技术领域

本发明虚拟动画显示技术领域，具体涉及一种虚拟人物表情驱动方法及系统，是一种在虚拟内容中实时反映人物面部表情、神态、情绪、气氛的技术，应用于一切虚拟内容中的表情生产。

背景技术

随着虚拟内容制作领域的技术成熟与市场对虚拟内容载体的逐步接受，市场迫切需要内容生产领域的高效和低成本的动画/表情生产方式。传统的动画师使用传统手工方法制作表情动画的效率已经无法满足现有非电影行业的内容制作效率需求；与此同时，旅游、广电、游戏以及虚拟等行业对于实时互动的需求逐渐增加。因此，如何快速、高效且准确地制作面部表情动画，在行业应用中的重要性日渐突显。

目前传统方法制作的表情动画对动画师的技术水准要求较高，所以并不是所有的动画师都能够快速地制作出准确自然的面部表情；此外，传统方法制作周期长、耗时耗力且成本奇高，无法满足市场需求；更重要的是，传统的制作方法完全不能应用于实时互动的环境，这就给节目/演出的创意发挥带来了局限性。

本发明在研发过程中涉及到图形图像学、数学算法、红外图像捕捉、光学图像捕捉、三维引擎、实时渲染和面部心理学等众多领域，并实现了跨平台使用。系统可以满足影视制作、动画电影制作、广播电视领域中的高效且低成本的面部表情制作的需求。不仅如此，在游戏领域与娱乐互动领域中，也可满足行业在面部表情实时性上的应用需求。

发明内容

为解决上述技术问题，本发明提供了一种虚拟人物表情驱动方法，该方法包括以下步骤：

(1)采集人类面部表情的色彩信息和深度信息；

(2)合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

(3)将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件；

(4)中间件对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

(5)通过经过处理的权重数据驱动虚拟人物表情变化。

根据本发明的实施例，优选的，所述关键信息节点包括但不限于嘴角、鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。

根据本发明的实施例，优选的，所述步骤(3)之前，采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

根据本发明的实施例，优选的，所述采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板是指：根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

根据本发明的实施例，优选的，所述权重数值是指人类高级肌肉表情动画在0-1区间，展示不同人类面部表情的动画状态值。

为解决上述技术问题，本发明提供了一种虚拟人物表情驱动系统，该系统包括：色彩摄像机、深度摄像机、关键信息节点提取模块、表情对比分析模块、中间件模块、引擎驱动模块；

所述色彩摄像机采集人类面部表情的色彩信息；

所述深度摄像机采集人类面部表情的深度信息；

所述关键信息节点提取模块合成所述人类面部表情深度与色彩信息，并提取关键信息节点；

表情对比分析模块将所述关键信息节点与之前学习的人类面部表情模板进行分析对比，以将实际人类面部表情数字化为一个权重数值，并传输至中间件模块；

所述中间件模块对所述权重数值进行标准化处理，并进行优化处理降低数据传输延时，输出至相应引擎端口；

引擎驱动模块将经过处理的权重数据驱动虚拟人物表情变化。

根据本发明的实施例，优选的，所述关键信息节点包括但不限于嘴角，鼻尖的人类面部表情特征点，根据关键信息节点通过空间拓扑关系可以鉴别人类面部表情。

根据本发明的实施例，优选的，该系统还包括：人脸表情深度学习训练模块、云端存储器，所述人脸表情深度学习训练模块采用人工智能的机器学习方式学习人类面部表情内容得到人类面部表情模板并存储于云端存储器以便后续调用。

根据本发明的实施例，优选的，所述人脸表情深度学习训练模块根据采集的人类面部表情深度信息，捕捉人脸的特征点，并且和训练集中的表情特征集比较，得到人脸所有变形组织的变形度量，并且结合时间，形成表情关键帧，该表情关键帧的组合用于在另一个模型上复现人脸表情。

根据本发明的实施例，优选的，所述人脸表情细分为72种；