[发明专利]一种视频合成方法、装置、设备及存储介质

说明书

本发明实施例公开了一种视频合成方法、装置、设备及存储介质。获取的待合成文本可以是任意语种的文本，待合成视频可以是用户选择的包括任意主播形象的视频片段，根据获取的待合成文本自动生成音频流，基于待合成视频中的无音视频流生成视频特征和唇部特征，并根据音频流生成音频特征和口型特征，基于口型特征和唇部特征确定口唇映射关系，根据口唇映射关系生成口唇一致的视频序列，进一步地，根据融合后的视频序列，生成目标合成视频，使整个目标合成视频中的人脸和唇部动作保持一致，并使目标合成视频中的主播唇动保持自然一致，并生成符合用户意愿的目标合成视频，提高用户观看体验。

技术领域

本发明实施例涉及视频处理技术，尤其涉及一种视频合成方法、装置、设备及存储介质。

背景技术

AI合成主播是通过提取真人主播新闻播报视频中的声音、唇形、表情动作等特征，运用语音、唇形、表情合成以及深度学习等技术联合建模训练而成。该技术将所输入的中英文文本自动生成相应内容的音视频流，并确保视频中的音频和表情、唇动保持自然一致，展现与真人主播无异的信息传达效果。

目前，现有的AI合成主播已实现2D、3D虚拟主播。3D主播相较于2D主播，可以同时支持多机位多景深，360度任意角度呈现内容等能力，在应用空间上用于更多的可能性，为新闻节目多样化制作和呈现带来了更多选择。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

AI合成主播所生成的主播在播报新闻稿件时会出现语音内容与嘴唇不同步现象，生成的主播视频效果欠佳，影响用户体验。

发明内容

本发明实施例提供了一种视频合成方法、装置、设备及存储介质，以将生成的主播的语音和嘴唇同步，提高了用户体验的效果。

第一方面，本发明实施例提供了一种视频合成方法，包括：

获取待合成文本和待合成视频；

对所述待合成文本进行特征转换，生成所述待合成文本的音频流；

基于所述待合成视频中的无音视频流，生成视频内容特征和目标对象的唇部特征，并基于所述待合成文本的音频流，生成音频内容特征和所述音频内容特征对应的口型特征；

将所述口型特征和所述唇部特征进行特征映射，确定口唇映射关系；

基于所述口唇映射关系，融合所述音频特征和所述视频特征，生成融合后的视频序列，并根据所述融合后的视频序列，生成目标合成视频。

第二方面，本发明实施例还提供了一种视频合成装置，包括：

信息获取模块，用于获取待合成文本和待合成视频；

音频流生成模块，用于对所述待合成文本进行特征转换，生成所述待合成文本的音频流；

特征生成模块，用于基于所述待合成视频中的无音视频流，生成内容视频特征和目标对象的唇部特征，并基于所述待合成文本的音频流，生成音频内容特征和所述音频内容特征对应的口型特征；

口唇映射关系确定模块，用于将所述口型特征和所述唇部特征进行特征映射，确定口唇映射关系；

目标合成视频生成模块，用于基于所述口唇映射关系，融合所述音频特征和所述视频特征，生成融合后的视频序列，并根据所述融合后的视频序列，生成目标合成视频。

第三方面，本发明实施例还提供了一种视频合成设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任一项所述的视频合成方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时实现如第一方面任一项所述的视频合成方法。