[发明专利]视频生成方法和装置、存储介质和电子设备

权利要求书

1.一种视频生成方法，其特征在于，所述方法包括：

将待处理文本分割为音素序列，将所述音素序列输入视频特征生成模型，得到所述视频特征生成模型输出的视频特征序列；

对所述视频特征序列中的各特征信息进行还原，得到对应的还原图像，根据所述视频特征序列的排序顺序将各还原图像进行排列，得到发音器官动作视频；

其中，所述视频特征生成模型是通过以下步骤训练得到的：

采集基于样本文本录制的样本发音器官动作视频和样本音频；

将样本文本进行分句，得到多个样本子句文本；

对所述样本音频进行识别，确定各样本子句文本对应的语音片段，基于各语音片段的时间轴信息，从所述样本发音器官动作视频中确定各语音片段对应的样本发音器官动作子视频；

逐帧对各所述样本发音器官动作子视频进行主成分分析，得到各视频帧的主成分信息，将主成分信息作为特征信息，将各视频帧的主成分信息按照视频帧顺序进行排列，得到样本视频特征序列；

基于样本子句文本的音素序列及其对应的样本视频特征序列，训练所述视频特征生成模型。

2.根据权利要求1所述的方法，其特征在于，在对所述视频特征生成模型进行训练的过程中，还包括：

逐帧对所述样本发音器官动作视频中的面部位置进行调整，以使各视频帧中的相同器官位于相同的图像位置。

3.根据权利要求1或2所述的方法，其特征在于，所述视频特征生成模型为注意力模型，所述视频特征生成模型包括编码器和解码器，所述编码器用于基于音素序列生成编码结果，所述解码器用于基于所述编码结果生成视频特征序列。

4.一种视频生成装置，其特征在于，所述装置包括：

输入模块，用于将待处理文本分割为音素序列，将所述音素序列输入视频特征生成模型，得到所述视频特征生成模型输出的视频特征序列；

生成模块，用于对所述视频特征序列中的各特征信息进行还原，得到对应的还原图像，根据所述视频特征序列的排序顺序将各还原图像进行排列，得到发音器官动作视频；

其中，所述视频特征生成模型是通过以下步骤训练得到的：

采集基于样本文本录制的样本发音器官动作视频和样本音频；

将样本文本进行分句，得到多个样本子句文本；

对所述样本音频进行识别，确定各样本子句文本对应的语音片段，基于各语音片段的时间轴信息，从所述样本发音器官动作视频中确定各语音片段对应的样本发音器官动作子视频；

逐帧对各所述样本发音器官动作子视频进行主成分分析，得到各视频帧的主成分信息，将主成分信息作为特征信息，将各视频帧的主成分信息按照视频帧顺序进行排列，得到样本视频特征序列；

基于样本子句文本的音素序列及其对应的样本视频特征序列，训练所述视频特征生成模型。

5.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-3中任一项所述方法的步骤。

6.一种电子设备，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-3中任一项所述方法的步骤。