[发明专利]视频生成方法和装置、存储介质和电子设备

说明书

本公开涉及一种视频生成方法和装置、存储介质和电子设备，所述方法包括：获取待处理音频；将所述待处理音频转换成待处理音频特征向量；将所述待处理音频特征向量输入视频生成模型，得到发音器官视频特征序列；根据所述发音器官视频特征序列生成与所述待处理音频对应的发音器官动作视频；其中，所述视频生成模型是通过如下方式训练得到的：根据由样本音频转换成的样本音频特征向量、与所述样本音频对应的样本发音器官动作视频的样本发音器官视频特征序列构建模型训练数据；根据所述模型训练数据训练得到所述视频生成模型。本公开不仅提高了发音器官动作视频的生成效率，还利用发音器官动作视频还原并直观展示了发音器官的真实发音动作过程。

技术领域

本公开涉及视频领域，具体地，涉及一种视频生成方法和装置、存储介质和电子设备。

背景技术

在进行发音学习的场景下，人们很难知悉他人口腔内部发音器官的动作和发力情况，只根据声音来判断和模拟应该如何发音是较为困难的，学习效果较差，效率较低。

目前，可以通过制作演示动画的形式对发音时的人脸情况进行模拟展示，但是这种方式无法展示真实的口腔内部发音器官的动作画面，参考性不高，并且人为绘制动画也费时费力效率不高。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种视频生成方法，包括获取待处理音频；将所述待处理音频转换成待处理音频特征向量；将所述待处理音频特征向量输入视频生成模型，得到发音器官视频特征序列；根据所述发音器官视频特征序列生成与所述待处理音频对应的发音器官动作视频；其中，所述视频生成模型是通过如下方式训练得到的：根据由样本音频转换成的样本音频特征向量、与所述样本音频对应的样本发音器官动作视频的样本发音器官视频特征序列构建模型训练数据；根据所述模型训练数据训练得到所述视频生成模型。

第二方面，本公开提供一种视频生成装置，所述装置包括：获取模块，用于获取待处理音频；转换模块，用于将所述待处理音频转换成待处理音频特征向量；输入模块，用于将所述待处理音频特征向量输入视频生成模型，得到发音器官视频特征序列；生成模块，用于根据所述发音器官视频特征序列生成与所述待处理音频对应的发音器官动作视频；训练模块，用于根据由样本音频转换成的样本音频特征向量、与所述样本音频对应的样本发音器官动作视频的样本发音器官视频特征序列构建模型训练数据；根据所述模型训练数据训练得到所述视频生成模型。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括存储装置和处理装置，存储装置上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。

通过上述的技术方案，至少可以达到以下的技术效果：

通过获取待处理音频，并将由待处理音频转换而成的待处理音频特征向量输入视频生成模型，得到发音器官视频特征序列，并根据该发音器官视频特征序列生成与待处理音频对应的发音器官动作视频。如此可以快捷高效地基于任意音频生成对应的发音器官动作视频，不仅提高了发音器官动作视频的生成效率，还利用发音器官动作视频还原并直观展示了发音器官的真实发音动作过程。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：