[发明专利]基于RGB图像的精细化人脸表情捕获方法及装置

说明书

本发明涉及3D表情重建技术领域，具体公开一种基于RGB图像的精细化人脸表情捕获方法及装置。本申请通过获取目标人脸的自然表情图像和变化表情图像，将变化表情图像输入人脸表情捕获模型获得标准表情特征，将自然表情图像和变化表情图像输入人脸关键点回归模型获得两组目标人脸的关键点空间坐标后进行坐标标准化处理，计算关键点空间坐标变化数据后代入关键点表情变化关联函数获得表情变化特征，最后根据敏感参数获得表情捕获数据的方法，降低了在人脸空间迁移变化的过程中对表情捕捉产生畸变的可能性，并且对表情特征的局部变化进行了效果增强，提高了表情捕获的稳定性和准确率。

技术领域

本发明涉及3D表情重建技术领域，具体涉及一种基于RGB图像的精细化人脸表情捕获方法及装置。

背景技术

目前人工智能技术和AR智能技术正在飞速发展，互联网用户的内容摄取需求越来丰富，针对动画人物，AR等内容的需求越加强烈，基于不同的人物角色构建特色的动作和表情成为了这些领域里边的支点内容。传统的动画及3D人物表情制作完全依赖于人工，同一个人物的表情变化需要同时做多幅图画，和多个模型的变化来表现，不仅需要极大的工作量，同时也难以保证输出动画或表情模型跟预期的表现一致，从而反复进行人物表情的构建，极大地降低了该领域里的内容输出效率。当前已有的通过人物关键点定位来抽象人脸表情特征变化的方法，也存在关键点抖动造成表情抖动问题；面部空间变化，迁移，使得检测效果畸变等多重技术问题。

发明内容

有鉴于此，本申请提供一种基于RGB图像的精细化人脸表情捕获方法及装置，能够解决或者至少部分解决上述存在的问题。

为解决以上技术问题，本发明提供的技术方案是一种基于RGB图像的精细化人脸表情捕获方法，包括：

S11：获取目标人脸的自然表情图像和变化表情图像；

S12：将目标人脸的变化表情图像输入预先构建的人脸表情捕获模型，获得目标人脸的标准表情特征；

S13：将目标人脸的自然表情图像和变化表情图像输入预先构建的人脸关键点回归模型获得两组目标人脸的关键点空间坐标；标准化两组关键点空间坐标；根据标准化后的两组关键点空间坐标计算出目标人脸的关键点空间坐标变化数据；将关键点空间坐标变化数据代入预先构建的关键点表情变化关联函数进行计算，获得目标人脸的表情变化特征；

S14：根据预设的敏感参数生成目标人脸的表情捕获数据：。

优选的，基于RGB图像的精细化人脸表情捕获方法还包括：

S15：将目标人脸的表情捕获数据进行基于前后帧的平滑处理，获得变化平滑的目标人脸的表情捕获数据。

优选的，所述人脸表情捕获模型的构建方法包括：

S21：采集目标人脸的差异表情图像，进行标准化的表情标注；

S22：构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型。

优选的，所述S21采集目标人脸的差异表情图像，进行标准化的表情标注的方法包括：

S211：构建多个不同角度的RGB摄像头对人脸表情图像进行采集，多个不同角度的RGB摄像头与被采集目标人脸的上下偏角不超过30°，左右偏角不超过45°，且采集的人脸表情图像为包括双眼、鼻、嘴巴和眉心的人脸表情图像；

S212：对采集的单帧人脸表情图像进行时序的同步；

S213：对采集的人脸表情图像中的人脸表情进行多人标注；

所述S22构建卷积神经网络模型，对目标人脸的差异表情图像的表情标注数据进行学习，获得人脸表情捕获模型的方法包括：