[发明专利]声音驱动辅助侧脸图像的人脸重建方法及装置

摘要

本发明公开了一种声音驱动辅助侧脸图像的人脸重建方法及装置，其中，方法包括：提取训练数据集；获取语音特征和表情参数的对应关系；提取每一帧对应的语音波形窗口的语音特征，并将特征信息存储到输入文件中；得到每一帧语音信息对应的人脸表情参数；获取侧脸的特征点信息，以通过深度学习方法获取侧脸图像与脸部特征点的对应关系；用已有的人脸模型拟合侧脸上的特征点位置，求解人脸的表情参数和形状参数，并将通过声音信息求解得到的表情参数引入进行加权；将拟合后的人脸模型进行纹理贴图和匹配，以获得最终的人脸重建结果。该方法可以使得较难通过侧脸图像获得的嘴部运动信息得到较好的跟踪和重建，有效提高重建的可靠性。

主权项

1.一种声音驱动辅助侧脸图像的人脸重建方法，其特征在于，包括以下步骤：提取训练数据集，其中，通过AR装置佩戴者正脸面对摄像机镜头说一段语料库中的话，提取摄像机采集的声音信息并转化为语音特征，提取摄像机采集的人脸图像信息并提取表情参数，所述语音特征和所述表情参数分别作为深度学习训练集的输入和输出；对所述训练数据集使用卷积神经网络进行深度学习训练，获取所述语音特征和所述表情参数的对应关系；在测试和使用神经网络模型的过程中，通过架设在所述AR装置两侧的微型摄像机采集使用者的侧脸信息以及说话的语音信息，提取每一帧对应的语音波形窗口的语音特征，并将特征信息存储到输入文件中；将所述输入文件置入训练好的神经网络模型中，得到每一帧语音信息对应的人脸表情参数；对于侧脸信息，同样做出训练集，通过已有的正脸特征点匹配将正脸上的特征点通过标定好的相机参数映射到侧脸上，获取侧脸的特征点信息，以通过深度学习方法获取侧脸图像与脸部特征点的对应关系；用已有的人脸模型拟合侧脸上的特征点位置，求解人脸的表情参数和形状参数，并将通过声音信息求解得到的表情参数引入进行加权；以及将拟合后的人脸模型进行纹理贴图和匹配，以获得最终的人脸重建结果。