[发明专利]基于唇读技术的角色口型动画制作方法

摘要

本发明涉及一种基于唇读技术的角色口型动画制作方法，属于计算机智能识别技术领域。利用唇读技术，解决角色口型动画中口型、表情、声音不一致的问题。本发明主要包括唇部检测与定位、唇动特征提取、唇语识别、角色交互控制。对于唇部检测与定位，采用ASM算法标定出人脸面部的68个关键点；对于唇动特征提取，使用鲁棒性较好的灰度能量图；对于唇语识别，运用动态时间规整算法。采用本发明的角色口型动画方法，可以使动画创作人员在角色动画制作过程中，通过唇读技术实现对角色口型的控制，这种口型动画制作方法能够减少口型动画制作复杂度与工作量，提高动画制作效率。

主权项

1.一种基于唇读技术的角色口型动画制作方法，其特征在于：包括以下步骤：S1：通过摄像头拾取人脸视频信号，获取人脸图像序列；S2：从人脸图像中检测与定位出唇部位置，唇部检测与定位采用主动形状模型法ASM，步骤如下：S21：训练：构建形状模型，首先手动标记训练样本的脸部特征点，然后对特征进行归一化、对齐、PCA处理，最后为每个特征点构建局部特征，局部特征选取梯度特征；S22：搜索：首先计算嘴部的位置，对齐人脸，然后根据马氏距离匹配局部特征点；S3：从标定出的唇部位置，提取包含唇动特征的特征值序列，唇动特征提取步骤如下：S31：求取唇动图像序列的灰度图像；S32：求取灰度能量图；S33：对灰度能量图进行小波离散变换，分解尺度为3，采用db4小波；S34：选取低频近似分量作为候选特征值，对候选特征值进行重采样处理，得到特征序列值；S4：根据唇动特征值进行唇语识别，唇语识别采用动态时间规整方法，步骤如下：S41：比较待比较模板的长度，如果长度差别大于阈值，则返回匹配失败；S42：根据待比较模板的长度，将匹配区域划分为两段或三段；S43：分别对每一段区域进行匹配；S44：计算总累计距离；S5：根据唇语识别结果，控制角色口型动画。