[发明专利]基于神经网络技术的视频配乐推荐方法、装置以及设备

说明书

本发明公开了一种基于神经网络技术的视频配乐推荐方法，包括：将包含有多段待配乐视频的视频集合和包含有多段待选配乐的音乐库输入至预先训练完成的风格标签预测模型进行分析，得到视频集合对应的视频风格标签信息和每段待选配乐对应的音频风格标签信息；根据视频集合对应的视频风格标签信息和每段待选配乐对应的音频风格标签信息计算视频集合和每段待选配乐的匹配值；根据视频集合和每段待选配乐的匹配值从音乐库中筛选出目标配乐，以作为视频集合的配乐。可见，本发明能够使预先训练完成的风格标签预测模型对音频和视频这两种不同模态的特征具有较好的融合能力，从而能够提高最终推荐的配乐和视频的匹配质量。本发明还涉及区块链技术领域。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种基于神经网络技术的视频配乐推荐方法、装置、计算机设备以及存储介质。

背景技术

视频自动配乐是一项常见的视频处理技术，其能够为视频自动选择合适的配乐，然后使用选择到的配乐完成视频的配乐处理，从而能够为视频创作者节省大量从音乐素材库中挑选合适的配乐的时间，使视频创作者能够将主要精力投入在视频的内容上，为视频创作者创作视频提供了极大的便利。

视频自动配乐技术的关键点在于配乐的自动推荐(即从音乐库中筛选出与视频匹配的配乐)。目前，使用人工神经网络模型来实现配乐的自动推荐是较为常见的一种做法。在人工神经网络模型中，会从待配乐视频中提取视频特征，从待选配乐中提取音频特征，其中，视频特征和音频特征属于不同模态的特征，在人工神经网络模型中需要对这两种不同模态的特征进行融合，最后才能完成配乐的自动推荐。人工神经网络模型中对不同模态的特征的融合情况，一定程度上决定着最后推荐的配乐与视频的匹配情况，但是，现有的人工神经网络模型对不同模态的特征的融合情况大多并不理想，导致最后推荐的配乐与视频的匹配程度不高。可见，目前的基于神经网络技术的视频配乐推荐方法所推荐的配乐和视频的匹配质量仍有提升的空间。

发明内容

本发明所要解决的技术问题在于，目前的基于神经网络技术的视频配乐推荐方法所推荐的配乐和视频的匹配质量较低。

为了解决上述技术问题，本发明第一方面公开了一种基于神经网络技术的视频配乐推荐方法，所述方法包括：

将包含有多段待配乐视频的视频集合和包含有多段待选配乐的音乐库输入至预先训练完成的风格标签预测模型进行分析，得到所述视频集合对应的视频风格标签信息和每段所述待选配乐对应的音频风格标签信息，其中，所述风格标签预测模型的输出包括视频风格标签信息、音频风格标签信息和用于表示所述视频风格标签信息和所述音频风格标签信息之间的相似度的标签相似值，且所述风格标签预测模型的预先训练是基于标签相似值完成的；

根据所述视频集合对应的视频风格标签信息和每段所述待选配乐对应的音频风格标签信息计算所述视频集合和每段所述待选配乐的匹配值；

根据所述视频集合和每段所述待选配乐的匹配值从所述音乐库中筛选出目标配乐，以作为所述视频集合的配乐。

本发明第二方面公开了一种基于神经网络技术的视频配乐推荐装置，所述装置包括：

分析模块，用于将包含有多段待配乐视频的视频集合和包含有多段待选配乐的音乐库输入至预先训练完成的风格标签预测模型进行分析，得到所述视频集合对应的视频风格标签信息和每段所述待选配乐对应的音频风格标签信息，其中，所述风格标签预测模型的输出包括视频风格标签信息、音频风格标签信息和用于表示所述视频风格标签信息和所述音频风格标签信息之间的相似度的标签相似值，且所述风格标签预测模型的预先训练是基于标签相似值完成的；

计算模块，用于根据所述视频集合对应的视频风格标签信息和每段所述待选配乐对应的音频风格标签信息计算所述视频集合和每段所述待选配乐的匹配值；

筛选模块，用于根据所述视频集合和每段所述待选配乐的匹配值从所述音乐库中筛选出目标配乐，以作为所述视频集合的配乐。