[发明专利]声音驱动辅助侧脸图像的人脸重建方法及装置

权利要求书

1.一种声音驱动辅助侧脸图像的人脸重建方法，其特征在于，包括以下步骤：

提取训练数据集，其中，通过AR装置佩戴者正脸面对摄像机镜头说一段语料库中的话，提取摄像机采集的声音信息并转化为语音特征，提取摄像机采集的人脸图像信息并提取表情参数，所述语音特征和所述表情参数分别作为深度学习训练集的输入和输出；

对所述训练数据集使用卷积神经网络进行深度学习训练，获取所述语音特征和所述表情参数的对应关系；

在测试和使用神经网络模型的过程中，通过架设在所述AR装置两侧的微型摄像机采集使用者的侧脸信息以及说话的语音信息，提取每一帧对应的语音波形窗口的语音特征，并将特征信息存储到输入文件中；

将所述输入文件置入训练好的神经网络模型中，得到每一帧语音信息对应的人脸表情参数；

对于侧脸信息，同样做出训练集，通过已有的正脸特征点匹配将正脸上的特征点通过标定好的相机参数映射到侧脸上，获取侧脸的特征点信息，以通过深度学习方法获取侧脸图像与脸部特征点的对应关系；

用已有的人脸模型拟合侧脸上的特征点位置，求解人脸的表情参数和形状参数，并将通过声音信息求解得到的表情参数引入进行加权，其中，拟合过程约束模型特征点投影到图像上的位置与正脸图像上检测到的特征点位置的距离，以及模型参数本身的正则约束，具体为：E＝E_data+λE_reg，E_reg＝∑_id∈(|w_id|-3)+∑_exp∈(|w_exp|-3)，其中，R，t，w_id，w_exp为待求解参数，Proj为相机投影矩阵，为模型上第i个特征点对应的张量基，p_i为图像上第i个特征点的坐标，∈(·)为阶跃函数，w_id为模型的形状参数，w_exp为模型的表情参数；以及

将拟合后的人脸模型进行纹理贴图和匹配，以获得最终的人脸重建结果。

2.根据权利要求1所述的声音驱动辅助侧脸图像的人脸重建方法，其特征在于，采集所述训练集时，采集到的结果包括所述AR装置上的摄像机拍摄到的侧脸图像序列、前方摄像机拍摄的正脸图像序列和摄像机采集到的佩戴者的语音信息。

3.根据权利要求2所述的声音驱动辅助侧脸图像的人脸重建方法，其特征在于，所述提取训练数据集，进一步包括：

将采集到的每一帧的语音波形窗口通过线性预测编码方法提取参数作为该帧的所述语音特征，以作为训练集输入；

将采集到的所述正脸图像序列进行人脸模型拟合并提取所述表情参数，以作为训练集输出。

4.根据权利要求1所述的声音驱动辅助侧脸图像的人脸重建方法，其特征在于，通过声音信息求解得到的表情参数引入进行加权的公式为：

w_exp＝λ₁w_audio+λ₂w_sideface，

其中，V为人脸模型变换后的顶点位置，C_r为模型的双线性张量参数基，w_id为模型的形状参数，w_exp为模型的表情参数，w_audio为通过声音信息求解的表情参数，w_sideface为通过侧脸图像信息求解的表情参数，λ₁，λ₂为两组表情参数拟合的权重。