[发明专利]一种视频合成方法、装置、设备及存储介质

权利要求书

1.一种视频合成方法，其特征在于，包括：

获取待合成文本和待合成视频；

对所述待合成文本进行特征转换，生成所述待合成文本的音频流；

基于所述待合成视频中的无音视频流，生成视频内容特征和目标对象的唇部特征，并基于所述待合成文本的音频流，生成音频内容特征和所述音频内容特征对应的口型特征；

将所述口型特征和所述唇部特征进行特征映射，确定口唇映射关系；

基于所述口唇映射关系，融合所述音频特征和所述视频特征，生成融合后的视频序列，并根据所述融合后的视频序列，生成目标合成视频；

其中，所述对所述待合成文本进行特征转换，生成所述待合成文本的音频流，包括：

将所述待合成文本输入至训练完成的语音生成模型，基于所述语音生成模型的编码器对所述待合成文本进行特征提取，得到所述待合成文本的独热向量；

基于所述语音生成模型的解码器，将所述独热向量转换成语音信号；

基于所述语音生成模型的序列生成子模型，将所述语音信号逆变换为时域波信号，将所述时域波信号作为所述待合成文本的音频流。

2.根据权利要求1所述的方法，其特征在于，所述基于所述语音生成模型的解码器，将所述独热向量转换成语音信号，包括：

对所述独热向量进行前处理，得到前处理后的特征向量；

基于所述解码器中的注意力机制，分别抓取所述特征向量和所述独热向量的局部信息，得到所述待合成文本中的关键特征；

对所述关键特征进行线性投影，得到呈线性分布的语音信号。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述语音生成模型的序列生成子模型，将所述语音信号逆变换为时域波信号，包括：

对所述语音信号进行后处理，基于后处理后的语音信号和后处理前的语音信号，生成对应的梅尔声谱图；

基于所述序列生成子模型，重构所述梅尔声谱图的相位信息，得到所述时域波信号。

4.根据权利要求1所述的方法，其特征在于，所述基于所述待合成视频中的无音视频流，生成视频内容特征和目标对象的唇部特征，包括：

将所述待合成视频中的视频流和音频流分离，得到所述无音视频流；

将所述无音视频流和所述待合成文本的音频流合并，生成初始融合视频；

对所述初始融合视频进行视频编码，生成所述视频内容特征和所述目标对象的唇部特征。

5.根据权利要求4所述的方法，其特征在于，所述对所述初始融合视频进行视频编码，生成所述视频内容特征和所述目标对象的唇部特征，包括：

抽取所述初次融合视频的关键帧，检测每一关键帧中的人脸区域和人脸标记点；

根据所述人脸区域和所述人脸标记点生成视频编码的输入数据；

对所述视频编码的输入数据进行编码，得到所述视频特征和唇部特征。

6.根据权利要求5所述的方法，其特征在于，所述根据所述人脸区域和所述人脸标记点生成视频编码的输入数据，包括：

基于所述抽取的关键帧对所述初次融合视频中的视频进行面部遮挡检测，确定所述关键帧的面部遮挡区域；

根据各关键帧的人脸标记点和所述面部遮挡区域，生成各所述关键帧中包括面部遮挡区域的人脸图像；

基于各所述关键帧中包括面部遮挡区域的人脸图像和所述人脸区域，生成所述视频编码的输入数据。

7.根据权利要求5所述的方法，其特征在于，所述对所述视频编码的输入数据进行编码，得到所述视频内容特征和目标对象的唇部特征，包括：

将所述视频编码的输入数据输入至预先训练好的视频编码模型，基于所述视频编码模型分别对输入数据中的人脸数据和音频数据进行编码；

将编码后的人脸数据和音频数据进行融合，生成所述视频内容特征和所述目标对象的唇部特征。