[发明专利]一种音乐匹配方法、装置、终端及存储介质

说明书

本发明实施例公开了一种音乐匹配方法、装置、终端及存储介质。该方法包括：获取目标视频，以及，分别获取多个待匹配音乐的待匹配音频特征；提取出目标视频的视频视觉特征和原始音频特征，并根据视频视觉特征和原始音频特征生成目标视频特征；根据目标视频特征和多个待匹配音频特征间的匹配程度，从多个待匹配音频特征中筛选出至少一个已匹配音频特征，并将与已匹配音频特征对应的待匹配音乐作为已匹配音乐。本发明实施例的技术方案，在无需用户预先试听全部的背景音乐的情况下，可直接根据视频内容自动匹配出背景音乐，且客观的量化的匹配方式从多个待匹配音乐中筛选出真正适合于目标视频的背景音乐，由此提高了背景音乐的匹配效率和匹配效果。

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种音乐匹配方法、装置、终端及存储介质。

背景技术

目前，各种短视频应用已成为移动互联网中较为热门的应用类别，用户可以随时随地的拍摄短视频，并将其上传到互联网上来与其它用户一起分享。

在短视频中，除视频主角的实际表演外，背景音乐也经常成为吸引用户观看短视频的一个重要因素。因此，若可以为短视频匹配上合适的背景音乐，则可以吸引更多的用户来观看短视频，由此提高短视频的播放量。

针对于此，短视频制作软件多是会提供大量的背景音乐，以使视频制作者从这大量的背景音乐中人工选择出合适的背景音乐。但是，这种人工匹配背景音乐的实现方式的效率较低，且无法保证视频制作者的喜好能够被大众所喜欢，实际应用的效果不佳。

发明内容

本发明实施例提供了一种音乐匹配方法、装置、终端及存储介质，以实现根据视频内容自动匹配出合适的背景音乐的效果。

第一方面，本发明实施例提供了一种音乐匹配方法，可以包括：

获取目标视频，以及，分别获取多个待匹配音乐的待匹配音频特征；

提取出目标视频的视频视觉特征和原始音频特征，并根据视频视觉特征和原始音频特征生成目标视频特征；

根据目标视频特征和多个待匹配音频特征间的匹配程度，从多个待匹配音频特征中筛选出至少一个已匹配音频特征，并将与已匹配音频特征对应的待匹配音乐作为已匹配音乐。

可选的，提取出目标视频的视频视觉特征，可以包括：

将目标视频输入至已训练完成的视频视觉提取模型，提取出目标视频的视频视觉特征，其中，视频视觉提取模型包括视频解析模块、第一卷积神经网络模块和循环神经网络模块，视频解析模块用于提取出目标视频中的目标视频数据并将目标视频数据解析为多帧目标图像。

可选的，在上述方法的基础上，该方法还可包括：

获取历史视频和历史视频中的历史视频数据的第一历史分类结果，将历史视频和第一历史分类结果作为一组第一训练样本；

基于多个第一训练样本对第一原始神经网络模型进行训练，得到视频视觉提取模型，其中，第一原始神经网络模型包括视频解析模块、第一卷积神经网络模块、循环神经网络模块和第一分类模块，第一分类模块用于对循环神经网络模块输出的历史视觉特征进行处理，得到历史视觉特征的第一预测分类结果。

可选的，提取出目标视频的原始音频特征，可以包括：

将目标视频输入至已训练完成的音频特征提取模型，提取出目标视频的原始音频特征，其中，音频特征提取模型包括音频转换模块和第二卷积神经网络模块，音频转换模块用于提取出目标视频中的目标音频数据并将目标音频数据转换为声谱图。

可选的，在上述方法的基础上，该方法还可包括：

获取历史音频和历史音频的第二历史分类结果，将历史音频和第二历史分类结果作为一组第二训练样本；