[发明专利]基于唇读技术的角色口型动画制作方法

说明书

本发明涉及一种基于唇读技术的角色口型动画制作方法，属于计算机智能识别技术领域。利用唇读技术，解决角色口型动画中口型、表情、声音不一致的问题。本发明主要包括唇部检测与定位、唇动特征提取、唇语识别、角色交互控制。对于唇部检测与定位，采用ASM算法标定出人脸面部的68个关键点；对于唇动特征提取，使用鲁棒性较好的灰度能量图；对于唇语识别，运用动态时间规整算法。采用本发明的角色口型动画方法，可以使动画创作人员在角色动画制作过程中，通过唇读技术实现对角色口型的控制，这种口型动画制作方法能够减少口型动画制作复杂度与工作量，提高动画制作效率。

技术领域

本发明涉及计算机智能识别技术领域，特别涉及一种图像处理与角色口型动画制作相结合的基于唇读技术的角色口型动画制作方法。根据识别人物的唇动变化，完成角色口型动画制作。

背景技术

唇读(lip-reading/speech-reading)，是指通过观察说话者的口型变化，“读出”或“部分读出”其所说的内容，唇读技术源于听力弱者和听力障碍者学习、了解正常人语言表达的一种技巧。唇读技术研究涉及多个领域，包括人工智能、知识工程、模式识别、图像处理、自然语言理解等。随着自动语音识别、人机自然交互和计算机视觉技术的迅速发展，唇读技术不在仅仅是改善语音识别率的辅助手段，唇读作为新的人体生物特征、新的人机接口、新的编码方式、新的反恐手段，在人们生活中发挥着越来越重要的作用。

在三维角色动画制作中，面部动画最为关键，只有当表情、口型、声音三者一致时，角色动画看起来才会更加真实自然。在欧美的动画中，为了做到表情、口型、声音的对应，传统的方法先请配音演员录音，然后让动画师捕捉配音演员说话时的表情神采与口型，并以此设定角色形象。后来随着计算机图形图像技术的快速发展，欧美开始使用建立标准英文口型发音系统的方法来创作口型动画。而在国内，则基本上采用关键帧制作法，只把台词中夸张的口型部分做出来，其他部分则含糊带过，这使得国内动画中的角色口型与台词的契合度很低，角色面部动画生。计算机智能识别技术的日渐成熟，使得动画制作技术不断向智能化、便捷化发展，因此，对于角色口型动画而言，也需要智能化的制作方法来减轻动画制作人员繁重的、重复的工作，减少对制作人员专业与经验的高要求，简单易操作的动画制作工具成为动画生产的必然需求。

发明内容

本发明的目的在于提供一种基于唇读技术的角色口型动画制作方法，解决了现有技术存在的角色口型动画中口型、表情、声音不一致的问题。本发明能够让动画制作人员快捷、轻松的制作出高品质的口型动画，实现口型、配音、表情的一致。制作人员在口型动画制作过程中，通过唇读技术，实现与角色的实时交互，实现口型与配音的一致。

本发明的上述目的通过以下技术方案实现：

基于唇读技术的角色口型动画制作方法，包括以下步骤：

S1：通过摄像头拾取人脸视频信号，获取人脸图像序列；

S2：从人脸图像中检测与定位出唇部位置，唇部检测与定位采用主动形状模型法ASM，步骤如下：

S21：训练：构建形状模型，首先手动标记训练样本的脸部特征点，然后对特征进行归一化、对齐、PCA处理，最后为每个特征点构建局部特征，选取梯度特征为局部特征；

S22：搜索：首先计算嘴部的位置，对齐人脸，然后根据马氏距离匹配局部特征点；

S3：从标定出的唇部位置，提取包含唇动特征的特征值序列，唇动特征提取步骤如下：

S31：求取唇动图像序列的灰度图像；

S32：求取灰度能量图；

S33：对灰度能量图进行小波离散变换，分解尺度为3，采用db4小波；

S34：选取低频近似分量作为候选特征值，对候选特征值进行重采样处理，得到特征序列值；