[发明专利]虚拟人脸生成方法、装置、计算机设备及可读存储介质

权利要求书

1.一种虚拟人脸生成方法，其特征在于，包括：

获取源音频，并基于预设流式语音识别模型的隐藏层，将所述源音频进行流式处理，得到流式语音特征，其中，所述流式语音特征为所述隐藏层的输出；

基于预设自注意机制模型，将所述流式语音特征进行编码与解码，得到流式语义特征；

根据预设语义特征与预设人脸特征之间的预设对应关系，若所述流式语义特征与所述预设语义特征一致，将所述预设人脸特征作为所述流式语义特征所对应的流式人脸特征，并将所述流式人脸特征生成虚拟人脸。

2.根据权利要求1所述虚拟人脸生成方法，其特征在于，所述将所述流式语音特征进行编码与解码，得到流式语义特征，包括：

将所述流式语音特征进行编码，得到初始编码语义特征；

获取韵律特征，并采用所述韵律特征修正所述初始编码语义特征，得到编码语义特征；

将所述编码语义特征进行解码，得到流式语义特征。

3.根据权利要求2所述虚拟人脸生成方法，其特征在于，所述韵律特征包括基频特征与能量特征中的至少一种。

4.根据权利要求2或者3所述虚拟人脸生成方法，其特征在于，所述将所述编码语义特征进行解码，得到流式语义特征，包括：

根据所述流式语音特征所对应的语音帧，获取情感标签特征；

将所述情感标签特征与所述编码语义特征组合并解码，得到流式语义特征。

5.根据权利要求4所述虚拟人脸生成方法，其特征在于，所述情感标签特征为基于独热编码描述的情感标签。

6.根据权利要求2或者3所述虚拟人脸生成方法，其特征在于，所述将所述编码语义特征进行解码，得到流式语义特征，包括：

基于预设自注意机制解码器包含的其它模型层，将所述编码语义特征进行解码，得到初始解码语义特征，其中，所述预设自注意机制解码器为所述预设自注意机制模型包含的解码器；

将所述编码语义特征进行因果卷积处理，得到因果卷积输出结果；

采用所述因果卷积输出结果调整所述初始解码语义特征，得到流式语义特征。

7.根据权利要求1所述虚拟人脸生成方法，其特征在于，所述预设自注意机制模型为基于Chunk-mask的Transformer模型或者基于Chunk-mask的Conformer模型。

8.一种虚拟人脸生成装置，其特征在于，包括：

语音处理单元，用于获取源音频，并基于预设流式语音识别模型的隐藏层，将所述源音频进行流式处理，得到流式语音特征，其中，所述流式语音特征为所述隐藏层的输出；

编解码单元，用于基于预设自注意机制模型，将所述流式语音特征进行编码与解码，得到流式语义特征；

人脸生成单元，用于根据预设语义特征与预设人脸特征之间的预设对应关系，若所述流式语义特征与所述预设语义特征一致，将所述预设人脸特征作为所述流式语义特征所对应的流式人脸特征，并将所述流式人脸特征生成虚拟人脸。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述计算机程序，以执行如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1-7中任一项所述方法的步骤。