[发明专利]基于图像和文本的视频生成方法和装置

摘要

本公开提供了一种基于图像和文本的视频生成方法和装置，涉及计算机视觉技术领域。所述方法包括：获取融合编码，所述融合编码包括：参考图像的图像编码和动作文本的文本编码，所述参考图像包括目标对象；将所述融合编码输入解码器，得到目标关键点序列；根据所述参考图像和所述目标关键点序列，得到重建视频，所述重建视频的视频内容为：所述目标对象执行所述动作文本描述的动作；其中，所述解码器是：基于原始视频样本的第一关键点序列和重建视频样本对应的第二关键点序列，以及原始视频编码样本和融合编码样本进行训练得到的，所述融合编码样本包括：动作文本样本的文本编码和参考图像样本的图像编码。