[发明专利]声音驱动辅助侧脸图像的人脸重建方法及装置

说明书

本发明公开了一种声音驱动辅助侧脸图像的人脸重建方法及装置，其中，方法包括：提取训练数据集；获取语音特征和表情参数的对应关系；提取每一帧对应的语音波形窗口的语音特征，并将特征信息存储到输入文件中；得到每一帧语音信息对应的人脸表情参数；获取侧脸的特征点信息，以通过深度学习方法获取侧脸图像与脸部特征点的对应关系；用已有的人脸模型拟合侧脸上的特征点位置，求解人脸的表情参数和形状参数，并将通过声音信息求解得到的表情参数引入进行加权；将拟合后的人脸模型进行纹理贴图和匹配，以获得最终的人脸重建结果。该方法可以使得较难通过侧脸图像获得的嘴部运动信息得到较好的跟踪和重建，有效提高重建的可靠性。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种声音驱动辅助侧脸图像的人脸重建方法及装置。

背景技术

高质量的三维模型在影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。而关于人脸三维重建方法，由于人脸表情较为丰富，因此是三维重建领域的一个较大的难题。

相关技术的人脸重建技术主要针对正脸图像的人脸重建，而对于AR(AugmentedReality，增强现实)设备而言，如果需要重建佩戴者的人脸信息，为了不影响佩戴者的视线，需要将微型摄像机架设在AR眼镜两侧，这就对人脸重建，尤其是嘴部运动的重建带来了困难，这是由于侧脸图像获取到的嘴部信息往往不够完全。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种声音驱动辅助侧脸图像的人脸重建方法，该方法可以使得较难通过侧脸图像获得的嘴部运动信息得到较好的跟踪和重建，有效提高重建的可靠性。

本发明的另一个目的在于提出一种声音驱动辅助侧脸图像的人脸重建装置。

为达到上述目的，本发明一方面实施例提出了一种声音驱动辅助侧脸图像的人脸重建方法，包括以下步骤：提取训练数据集，其中，通过AR装置佩戴者正脸面对摄像机镜头说一段语料库中的话，提取摄像机采集的声音信息并转化为语音特征，提取摄像机采集的人脸图像信息并提取表情参数，所述语音特征和所述表情参数分别作为深度学习训练集的输入和输出；对所述训练数据集使用卷积神经网络进行深度学习训练，获取所述语音特征和所述表情参数的对应关系；在测试和使用神经网络模型的过程中，通过架设在所述AR装置两侧的微型摄像机采集使用者的侧脸信息以及说话的语音信息，提取每一帧对应的语音波形窗口的语音特征，并将特征信息存储到输入文件中；将所述输入文件置入训练好的神经网络模型中，得到每一帧语音信息对应的人脸表情参数；对于侧脸信息，同样做出训练集，通过已有的正脸特征点匹配将正脸上的特征点通过标定好的相机参数映射到侧脸上，获取侧脸的特征点信息，以通过深度学习方法获取侧脸图像与脸部特征点的对应关系；用已有的人脸模型拟合侧脸上的特征点位置，求解人脸的表情参数和形状参数，并将通过声音信息求解得到的表情参数引入进行加权；将拟合后的人脸模型进行纹理贴图和匹配，以获得最终的人脸重建结果。

本发明实施例的声音驱动辅助侧脸图像的人脸重建方法，可以利用深度学习来对采集到的声音信息与脸部运动进行匹配，然后用提取的脸部运动参数指到人脸模型的三维重建，并通过加入声音信息辅助重建的方法，从而可以使得较难通过侧脸图像获得的嘴部运动信息得到较好的跟踪和重建，有效提高重建的可靠性。

另外，根据本发明上述实施例的声音驱动辅助侧脸图像的人脸重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，采集所述训练集时，采集到的结果包括所述AR装置上的摄像机拍摄到的侧脸图像序列、前方摄像机拍摄的正脸图像序列和摄像机采集到的佩戴者的语音信息。

进一步地，在本发明的一个实施例中，所述提取训练数据集，进一步包括：将采集到的每一帧的语音波形窗口通过线性预测编码方法提取参数作为该帧的所述语音特征，以作为训练集输入；将采集到的所述正脸图像序列进行人脸模型拟合并提取所述表情参数，以作为训练集输出。