[发明专利]一种轻量级的基于2D视频的人脸表情驱动方法和系统

说明书

本发明公开了一种轻量级的基于2D视频的人脸表情驱动方法和系统，包括如下步骤：S1，通过摄像头获取数据；S2，数据预处理：对摄像头获取的数据进行预处理，获取截取的人脸区域图片；S3，特征提取：通过S2截取的人脸区域图片获取人脸特征以及面部关键点信息；S4，表情参数获取，根据人脸特征以及面部关键点信息，获取表情参数，通过表情参数对人脸动画进行驱动。本发明方法计算量小，资源占用少；产生的表情自然；数据获取简单、方便，实用性强。

技术领域

本发明属于人脸表情驱动技术领域，更具体的说是涉及一种轻量级的基于2D视频的人脸表情驱动方法和系统。

背景技术

随着计算机技术的发展，计算机视觉相关应用已经融入人们的日常生活，人脸表情驱动广泛应用于游戏制作、影视制作、人机交互等领域。近几年，随着影视、游戏、短视频、直播等领域的发展，人脸表情驱动技术成为热门研究领域。其中基于2D视频的人脸重建技术是人脸表情驱动重要的一环，也是计算机视觉领域具有挑战的课题。

目前人脸表情驱动主要有关键参数化方法、基于肌肉模型的方法、表演驱动的方法等。

(1)参数化方法

参数化人脸模型由表情参数和形状参数组成，其中表情参数控制人脸的各种表情，形状参数控制个性化的人脸形状，通过改变各参数的值便可获得各种人脸表情。该方法能够精确控制特殊的人脸形状，经少量计算便可控制较多的人脸表情，但当多个参数控制同一点时，容易发生冲突，产生不自然的表情。

(2)基于肌肉模型的方法

人脸的肌肉结构非常复杂，形变难以控制，基于肌肉模型的方法通过肌肉仿真技术描述人脸上不同部位的肌肉运动，尽管肌肉模型可以产生高逼真的人脸表情动画，但肌肉模型的构造及其参数的标定是非常复杂而艰巨的工作，并且复杂的肌肉模型计算量巨大，而简单的肌肉模型无法产生令人满意的视觉效果，限制了肌肉模型生成人脸表情的应用。

(3)表演驱动的方法

目前通过表演驱动人脸表情动画的方法更能产生精细的表情，同时也避免了不自然的表情的产生，主要分为基于标记的人脸表情动画技术和基于非标记的人脸表情驱动。

基于标记的人脸表情驱动是在人脸上标记若干标记点，通过运动捕捉设备获取人脸的三维运动轨迹，再应用径向基差值等技术驱动人脸表情，该方法设备昂贵、制作成本高。

因此，如何提供一种轻量级的基于2D视频的人脸表情驱动方法和系统成为了本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明。

为了实现上述目的，本发明采用如下技术方案：

一种轻量级的基于2D视频的人脸表情驱动方法，包括如下步骤：

S1，通过摄像头获取数据；

S2，数据预处理：对摄像头获取的数据进行预处理，获取截取的人脸区域图片；

S3，特征提取：通过S2截取的人脸区域图片获取人脸特征以及面部关键点信息；

S4，表情参数获取，根据人脸特征以及面部关键点信息，获取表情参数，通过表情参数对人脸动画进行驱动。

进一步的，S2中数据预处理具体方法为：将摄像头获取的图片或视频数据进行处理，使用计算机视觉技术检测人脸，并返回人脸位置的相关信息，根据位置信息对人脸区域进行裁剪，用于后续特征提取。

进一步的，S3中特征提取具体方法为：针对S2中裁剪的人脸区域图片，使用深度神经网络进行特征提取，并对图片中的面部进行关键点检测，将两部分数据作为后续深度神经网络训练的输入数据。