[发明专利]虚拟人脸生成方法、装置、计算机设备及可读存储介质

说明书

本申请属于多媒体技术领域，提供了一种虚拟人脸生成方法、装置、计算机设备及计算机可读存储介质，为了解决基于语音驱动的虚拟人脸生成不支持流式语音的虚拟人脸生成的问题，通过预先设置语音的预设语义特征与预设人脸特征之间的预设对应关系，并获取源音频，且将源音频进行流式处理，得到流式语音特征，再基于自注意机制，获取流式语音特征所对应的流式语义特征，并根据预设对应关系，获取流式语义特征所对应的流式人脸特征，再将流式人脸特征生成虚拟人脸，从而支持语音的流式处理来驱动虚拟人脸的生成，实现语音驱动的流式虚拟人脸的实时生成，不但能够充分满足语音驱动下低时延的实时的虚拟人脸生成，而且具有较好的人脸生成效果。

技术领域

本申请涉及多媒体技术领域，尤其涉及一种虚拟人脸生成方法、装置、计算机设备及计算机可读存储介质。

背景技术

虚拟人脸生成，往往需要动作采集设备捕捉人脸轮廓后再进行渲染，在元宇宙下的虚拟人实时通话等虚拟人脸场景下，不但动作采集设备成本高昂，而且直接对采集的人脸视频信息进行传输会带来繁重的网络传输压力。

语音驱动的虚拟人脸生成算法仅需要用户输入语音信息，比起采集人脸视频信息并传输，对音频的采集与传输不仅方便而且可以有效缓解网络传输压力，能够极大降低虚拟人脸的生成成本，同时带来高质量的人脸和口型生成结果。但是，传统技术中，语音驱动的虚拟人脸生成算法，通常依赖于整句语音生成虚拟人脸，即必须在处理完整句音频后、借助语音包含的时序信息及上下文语义才能生成虚拟人脸，而在流式语音的语音特征计算过程中，较短的语音片段由于缺乏时序信息以及必要的语义信息，在语音驱动过程中很容易导致虚拟人形象面部抖动，从而无法支持流式语音驱动虚拟人脸生成，即无法满足低时延要求场景下的流式虚拟人脸生成，例如元宇宙下的虚拟人实时通话或者在线游戏等场景下的虚拟人实时生成。

发明内容

本申请提供了一种虚拟人脸生成方法、装置、计算机设备及计算机可读存储介质，能够解决传统技术中基于语音驱动的虚拟人脸生成不支持流式语音的虚拟人脸生成的技术问题。

第一方面，本申请提供了一种虚拟人脸生成方法，包括：获取源音频，并基于预设流式语音识别模型的隐藏层，将所述源音频进行流式处理，得到流式语音特征，其中，所述流式语音特征为所述隐藏层的输出；基于预设自注意机制模型，将所述流式语音特征进行编码与解码，得到流式语义特征；根据预设语义特征与预设人脸特征之间的预设对应关系，若所述流式语义特征与所述预设语义特征一致，将所述预设人脸特征作为所述流式语义特征所对应的流式人脸特征，并将所述流式人脸特征生成虚拟人脸。

第二方面，本申请提供了一种虚拟人脸生成装置，包括：语音处理单元，用于获取源音频，并基于预设流式语音识别模型的隐藏层，将所述源音频进行流式处理，得到流式语音特征，其中，所述流式语音特征为所述隐藏层的输出；编解码单元，用于基于预设自注意机制模型，将所述流式语音特征进行编码与解码，得到流式语义特征；人脸生成单元，用于根据预设语义特征与预设人脸特征之间的预设对应关系，若所述流式语义特征与所述预设语义特征一致，将所述预设人脸特征作为所述流式语义特征所对应的流式人脸特征，并将所述流式人脸特征生成虚拟人脸。

第三方面，本申请提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现所述虚拟人脸生成方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行所述虚拟人脸生成方法的步骤。