[发明专利]一种基于解耦表示学习的说话人脸视频生成方法

说明书

本发明提出了一种基于解耦表示学习的说话人脸视频生成方法，采用分类对抗的方法将音频中的人物身份特征、语音特征及情绪特征解耦，并且用分类对抗的方法将视频中的人物身份特征、语音特征及情绪特征解耦，这些特征的解耦提高了本方法对生成说话视频的可操控性。采用对偶学习对音频中的语音特征和静音视频中的语音特征进行映射，对音频中的情绪特征和静音视频中的情绪特征进行映射，实现了音频和视频的跨模态特征转换，极大提高了从音频生成说话人脸视频的便利性，也提高了生成说话人脸视频的连贯与自然程度。本发明可以根据任意单张人脸图片及音频生成真实自然的说话视频，无需大量特定人脸视频，提高了易用性。

技术领域

本发明涉及深度学习与多媒体跨模态生成，具体涉及一种基于解耦表示学习的说话人脸视频生成方法。

背景技术

说话人脸视频生成是指给定单张人脸图片和一段单人说话语音，生成这个人的说话人脸视频，而且该视频中人脸的说话内容与输入语音一致。说话人脸视频生成技术在虚拟主播、人机交互及影视动画制作等领域具有广阔应用前景。

由单张人脸图片和说话语音生成自然流畅的说话人脸视频十分具有挑战性，一方面需要实现保留身份特征的多帧人脸生成，而且要求人脸变化尤其是唇形变化在时域上要与输入语音一致。为此，已有研究者提出基于深度学习的说话人脸视频生成，虽然取得一定效果，但是存在一些问题。说话音频中包含由说话者人物身份特征、情绪及语音特征(说话内容)等多种特征空间，类似的，说话视频也包括说话人物身份特征、情绪及语音特征(说话引起的面部动作)等多种特征空间。现有说话人脸视频生成方法由于未能很好的将音频中的身份特征、语音特征和情绪特征以及视频中的说话人身份特征、语音特征和情绪特征解耦，生成说话视频存在以下问题：(1)音频中语音特征及情绪特征之外的特征以及是视频中人物身份特征之外的信息会严重干扰说话人脸视频生成效果，使得生成视频中唇形与语音不一致，给人不够真实的感觉；(2)由于未能将语音及视频中的情绪特征分离出来，因此生成的说话人脸视频面无表情，情绪上与语音不对应，整体效果不够自然。这些问题的存在极大的影响了说话人脸视频的实际应用。

发明内容：

本发明的目的是为了解决上述背景技术存在的不足，而提出一种基于解耦表示学习的说话人脸视频生成方法。

本发明包括三个方面：使用分类对抗方法对输入音频中的音频人物身份特征、音频语音特征及音频情绪特征进行解耦，得到干净的音频人物身份特征、音频语音特征及音频情绪特征；使用分类对抗方法对输入视频中的视频人物身份特征、视频语音特征及音频情绪特征进行解耦，得到干净的视频人物身份特征、视频语音特征及音频情绪特征；使用对偶学习方法实现音频语音特征和视频语音特征这两个不同隐空间的相互映射，并使用对偶学习方法实现音频情绪特征和视频情绪特征这两个不同隐空间的相互映射；联合视频人物身份特征和映射到该空间的音频语音特征及音频情绪特征，实现由单张图片和说话音频共同生成说话人脸视频。

本发明在训练阶段，采用分类对抗的方法将音频中的人物身份特征、语音特征以及情绪特征解耦，并且用分类对抗的方法将视频中的人物身份息、语音特征及情绪特征解耦，然后采用对偶学习将音频中的语音特征映射到视频中的语音特征，并采用对偶学习将音频中的情绪特征映射到视频中的情绪特征，最后综合视频中的人物身份特征共同完成说话人脸视频的生成。在测试阶段，将给定任意单张人脸图片和说话音频，即可生成该人脸符合音频情绪特征的说话视频。由于对人物身份、语音及情绪等关键信息实施了解耦，可以根据任意单张人脸图片及音频生成真实自然的说话视频。不仅避免了音频和视频中不同隐空间特征对生成说话视频结果的干扰，且视频画面所展现的情绪与输入音频的情绪保持一致，较好的解决现有方法存在的上述两个问题。

为了实现上述目的，本发明所采用的技术方案为：