[发明专利]一种基于条件生成对抗网络的声音预测人脸方法

说明书

本发明提出了一种基于条件生成对抗网络的声音预测人脸方法，该方法包括：数据构建步骤，采集声音数据及人脸数据并进行数据清洗，分别根据年龄及性别标注生成one‑hot标签；设计及训练声音分类模型步骤，从声音数据中提取梅尔频谱特征，并将特征及标签数据输入深度学习分类网络进行训练，进而得到分类网络模型权重；设计及训练人脸生成网络步骤，将标签及人脸数据输入预训练的条件生成对抗网络进行训练，得到人脸生成网络模型权重；模型预测步骤，将预处理后的声音数据输入声音分类器获得分类标签，再将分类标签输入人脸生成器，可获得预测人脸。本发明涉及深度学习技术应用领域，实现了根据输入声音预测说话者人脸图像的功能，弥补了该领域的空白。

技术领域

本发明涉及深度学习应用技术领域，具体涉及了一种基于条件生成对抗网络的声音预测人脸方法。

背景技术

近年来，深度学习的发展得到了社会各界的广泛关注，其技术应用也已经渗透了生活的方方面面。深度学习的提出得益于神经网络的发展，其根本概念在于模拟人脑进行数据分析，找到输入与输出之间的隐层联系。目前，深度学习技术在图像处理、自然语言处理、音频处理等问题上均显露出令人惊叹的效果，其中尤以在图像处理上的表现最令人瞩目。

图像处理问题可以分为：图像检测、图像分类、图像生成等。生成对抗网络就是一种极具发展前景的图像生成模型，其本质是一个“博弈对抗”的过程。生成对抗网络由生成器与鉴别器两部分网络构成，生成器的目的在于合成以假乱真的图片，而鉴别器的目的在于分辨出合成图片与真实图片，两者通过不断较量最终达到平衡。但原始的生成对抗网络的生成结果不可控，为了改善该问题，条件生成对抗网络CGAN应运而生，其背后的思想在于给原始网络加入一定的约束条件，使得生成图片符合指定的要求。这一改进大大推动了生成对抗网络在各大领域的融合发展。

在条件生成对抗网络的基础上，根据文本生成图片，根据颜色生成图片等技术都已经取得较好的成果，但由音生貌，通过声音预测人脸的语音画像领域发展却始终不如人意。现有的语音画像技术生成图片分辨率低下，难以在实际工作中得到应用，且大多使用声音特征直接作为生成对抗网络的约束条件，增大了网络的学习难度，模型效果不如人意。

发明内容

针对上述不足，本发明提出了一种基于条件生成对抗网络的声音预测人脸方法，该方法使用声音分类网络将声音特征转化为one-hot标签编码，以标签编码为条件生成对抗网络的约束条件，进而可以得到分辨率较高的预测人脸图片。

本发明采用的技术方案为：

一种基于条件生成对抗网络的声音预测人脸方法，该方法包括：数据构建步骤、声音分类网络模型设计与训练步骤、人脸图像生成网络设计与训练步骤、模型预测步骤；数据构建步骤主要通过采集当前主流的Common Voice音频数据集中汉语(中国大陆)声音数据和UTKface数据集中亚裔人脸数据，进行数据清洗并依据数据库相关标注数据，为声音和人脸数据分别建立one-hot编码标签；设计及训练声音分类网络模型步骤利用深度学习技术在分类问题上的处理，设计相应的网络结构，并利用所构建的数据进行训练，获得网络模型；设计及训练人脸图像生成网络步骤利用条件生成对抗网络的相关原理，利用所构建的数据进行训练并获得网络模型；模型预测步骤串联声音分类网络与人脸图像生成网络，实现从声音预测人脸的功能。

具体的，该方法的实现步骤如下：

S1、数据构建，采集Common Voice音频数据集中汉语(中国大陆)声音数据和UTKface数据集中亚裔人脸数据；对声音数据及人脸图像数据进行数据清理；根据数据集中原始的年龄及性别标注，对声音数据及人脸图像数据建立one-hot编码标签，保持两者编码规则的一致性；