[发明专利]视频生成方法和装置、存储介质和电子设备

权利要求书

1.一种视频生成方法，其特征在于，所述方法包括：

获取待处理音频；

将所述待处理音频转换成待处理音频特征向量；

将所述待处理音频特征向量输入视频生成模型，得到发音器官视频特征序列；

根据所述发音器官视频特征序列生成与所述待处理音频对应的发音器官动作视频；

其中，所述视频生成模型是通过如下方式训练得到的：

根据由样本音频转换成的样本音频特征向量、与所述样本音频对应的样本发音器官动作视频的样本发音器官视频特征序列构建模型训练数据；

根据所述模型训练数据训练得到所述视频生成模型。

2.根据权利要求1所述的方法，其特征在于，所述样本音频特征向量是通过如下方式得到的：

将所述样本音频中的每一帧音频转换成样本音素后验概率向量，得到包括至少一个样本音素后验概率向量的样本音素后验概率向量序列，将所述样本音素后验概率向量序列作为所述样本音频特征向量；

所述样本发音器官视频特征序列是通过如下方式得到的：

基于所述样本发音器官动作视频，提取与所述样本音素后验概率向量序列中每一所述样本音素后验概率向量对应的样本发音器官视频特征，得到所述样本发音器官视频特征序列。

3.根据权利要求2所述的方法，其特征在于，在所述基于所述样本发音器官动作视频，提取与所述样本音素后验概率向量序列中每一所述样本音素后验概率向量对应的样本发音器官视频特征之前，包括：

逐帧对所述样本发音器官动作视频中的发音器官位置进行调整，以使各帧视频图像中的相同发音器官位于相同的图像位置。

4.根据权利要求2或3所述的方法，其特征在于，每一所述样本发音器官视频特征为所述样本发音器官动作视频中的至少一帧视频图像的像素点特征信息；或者，

每一所述样本发音器官视频特征为所述样本发音器官动作视频中的至少一帧视频图像的主成分特征信息。

5.根据权利要求1所述的方法，其特征在于，所述将所述待处理音频转换成待处理音频特征向量，包括：

将所述待处理音频输入语音识别模型，得到所述待处理音频特征向量，所述待处理音频特征向量包括所述待处理音频中每一帧音频的音素后验概率向量，每一所述音素后验概率向量的维度为所述待处理音频对应的语言类型包括的音素维度。

6.根据权利要求1所述的方法，其特征在于，所述获取待处理音频，包括：

获取客户端上传的待处理音频；

所述方法还包括：

向所述客户端发送所述发音器官动作视频，以使所述客户端展示所述发音器官动作视频。

7.根据权利要求1-3中任一项所述的方法，其特征在于，所述发音器官动作视频为磁共振成像MRI视频，所述发音器官动作视频中包括上唇、下唇、上齿、下齿、齿龈、硬颚、软颚、小舌、舌尖、舌面、舌根、鼻腔、口腔、咽头、会厌、食道、气管、声带、喉头中的至少一种发音器官的动作。

8.一种视频生成装置，其特征在于，所述装置包括：

获取模块，用于获取待处理音频；

转换模块，用于将所述待处理音频转换成待处理音频特征向量；

输入模块，用于将所述待处理音频特征向量输入视频生成模型，得到发音器官视频特征序列；

生成模块，用于根据所述发音器官视频特征序列生成与所述待处理音频对应的发音器官动作视频；

训练模块，用于根据由样本音频转换成的样本音频特征向量、与所述样本音频对应的样本发音器官动作视频的样本发音器官视频特征序列构建模型训练数据；根据所述模型训练数据训练得到所述视频生成模型。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。