[发明专利]视频合成方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种视频合成方法，其特征在于，所述方法包括：

获取用于合成目标视频的第一多媒体文件及所述目标视频对应的目标主题；

基于所述目标主题，获取与所述第一多媒体文件组合能够表达所述目标主题的第二多媒体文件，所述第一多媒体文件和所述第二多媒体文件为以音频和图像方式合成所述目标视频的不同类型的文件；

响应于所述第一多媒体文件和所述第二多媒体文件在表达所述目标主题过程中的表现相匹配，将所述第一多媒体文件和所述第二多媒体文件合成所述目标视频。

2.根据权利要求1所述的视频合成方法，其特征在于，所述基于所述目标主题，获取与所述第一多媒体文件组合能够表达所述目标主题的第二多媒体文件，包括：

获取多媒体文件集合，所述多媒体文件集合包括与所述第二多媒体文件类型相同的多个第三多媒体文件；

从所述第一多媒体文件中提取第一多媒体特征，并从所述多媒体文件集合包括的每个所述第三多媒体文件中提取第二多媒体特征；

将所述第一多媒体特征与每个所述第二多媒体特征进行拼接，得到多个第一拼接特征向量；

将所述多个第一拼接特征向量输入到主题预测模型中，输出多个第一预测主题；

根据所述多个第一预测主题和所述目标主题，从所述多媒体文件集合包括的多个第三多媒体文件中，获取所述第二多媒体文件。

3.根据权利要求2所述的视频合成方法，其特征在于，所述根据所述多个第一预测主题和所述目标主题，从所述多媒体文件集合包括的多个第三多媒体文件中，获取所述第二多媒体文件，包括：

计算所述多个第一预测主题与所述目标主题之间的相似度；

将与所述目标主题的相似度大于预设阈值的第一预测主题对应的第三多媒体文件，确定为所述第二多媒体文件。

4.根据权利要求2所述的视频合成方法，其特征在于，所述响应于所述第一多媒体文件和所述第二多媒体文件在表达所述目标主题过程中的表现相匹配，将所述第一多媒体文件和所述第二多媒体文件合成所述目标视频之前，还包括：

将所述第一多媒体特征、所述第二多媒体文件对应的第三多媒体特征、所述目标主题及第二预测主题进行拼接，得到第二拼接特征向量，所述第二预测主题为采用所述主题预测模型对所述第一多媒体文件和所述第二多媒体文件组合后的视频进行主题预测得到；

将所述第二拼接特征向量输入到匹配决策模型中，输出所述第一多媒体文件和所述第二多媒体文件的匹配结果。

5.根据权利要求4所述的视频合成方法，其特征在于，所述主题预测模型的训练过程为：

获取训练样本集合，所述训练样本集合包括多个训练样本视频，每个所述训练样本视频具有标注主题；

提取所述训练样本集合中每个所述训练样本视频中图像文件的图像特征及音频文件的音频特征；

将每个所述训练样本视频的图像特征及音频特征进行拼接，得到多个第三拼接特征向量；

将所述多个第三拼接特征向量输入到初始主题预测模型中，输出多个第三预测主题；

将每个所述第三预测主题和对应的标注主题输入到预先构建的第一损失函数中，输出多个第一损失函数值；

根据所述多个第一损失函数值，对所述初始主题预测模型的模型参数进行调整，得到所述主题预测模型。

6.根据权利要求2至3中任一项所述的视频合成方法，其特征在于，所述主题预测模型的训练过程为：

获取训练样本集合，所述训练样本集合包括多个训练样本视频，每个所述训练样本视频具有标注主题；

提取所述训练样本集合中每个所述训练样本视频中图像文件的图像特征及音频文件的音频特征；

将每个所述训练样本视频的图像特征及音频特征进行拼接，得到多个第三拼接特征向量；

将所述多个第三拼接特征向量输入到初始主题预测模型中，输出多个第三预测主题；

将每个所述第三预测主题和对应的标注主题输入到预先构建的第一损失函数中，输出多个第一损失函数值；

根据所述多个第一损失函数值，对所述初始主题预测模型的模型参数进行调整，得到所述主题预测模型。