[发明专利]基于唇读技术的角色口型动画制作方法

权利要求书

1.一种基于唇读技术的角色口型动画制作方法，其特征在于：包括以下步骤：

S1：通过摄像头拾取人脸视频信号，获取人脸图像序列；

S2：从人脸图像中检测与定位出唇部位置，唇部检测与定位采用主动形状模型法ASM，步骤如下：

S21：训练：构建形状模型，首先手动标记训练样本的脸部特征点，然后对特征进行归一化、对齐、PCA处理，最后为每个特征点构建局部特征，局部特征选取梯度特征；

S22：搜索：首先计算嘴部的位置，对齐人脸，然后根据马氏距离匹配局部特征点；

S3：从标定出的唇部位置，提取包含唇动特征的特征值序列，唇动特征提取步骤如下：

S31：求取唇动图像序列的灰度图像；

S32：求取灰度能量图；

S33：对灰度能量图进行小波离散变换，分解尺度为3，采用db4小波；

S34：选取低频近似分量作为候选特征值，对候选特征值进行重采样处理，得到特征序列值；

S4：根据唇动特征值进行唇语识别，唇语识别采用动态时间规整方法，步骤如下：

S41：比较待比较模板的长度，如果长度差别大于阈值，则返回匹配失败；

S42：根据待比较模板的长度，将匹配区域划分为两段或三段；

S43：分别对每一段区域进行匹配；

S44：计算总累计距离；

S5：根据唇语识别结果，控制角色口型动画。

2.根据权利要求1所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S21所述的训练的过程包括以下步骤：

S211：搜集N个训练样本；

S212：手动记录下每个训练样本中的k个关键特征点，本方法k值为18，为唇部轮廓的关键点；

S213：构建训练集的形状向量，将一幅图中标定的k个关键特征点组成一个形状向量，

式中，表示第i个训练样本上第j个特征点的坐标，n表示训练样本的个数；

S214：形状归一化，采用Procrustes方法进行点分布模型对齐操作；

S215：将对齐后的形状向量进行PCA处理；

S216：为每个特征点构建局部特征。

3.根据权利要求1所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S22所述的搜索的过程包括以下步骤：

S221：计算每个特征点的新位置，初始模型为：

X＝M(s,θ)[a_i]+X_c

式中，s表示缩放、θ表示旋转、X_c表示位移，选取马氏距离最小的特征点作为新位置；

S222：更新参数，直至迭代次数达到指点阈值；

X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_c，θ＝θ+w_θdθ，s＝s(1+w_sds)，b＝b+w_bdb

式中w_t，w_θ，w_s，w_b为控制参数变化的权值。

4.根据权利要求1所述的基于唇读技术的角色口型动画制作方法，其特征在于：步骤S32所述的求取灰度能量图的步骤如下：

S321：根据步骤S2标定的唇部位置，从人脸图像序列中截取唇部图像，得到唇动序列图像，然后求取灰度唇动图像序列，计算公式为：

Gray＝(R*77+G*151+B*28)/256

式中，R、G、B分别表示红、绿、蓝通道的像素值；

S322：计算灰度能量，方法为计算灰度唇部序列的平均灰度图，公式为：

式中I(x,y,i)为第i帧图像像素点(x,y)的灰度值，N为图像帧数。