[发明专利]一种音视频匹配方法及装置

说明书

技术领域

本发明涉及信号处理领域，尤指一种基于现有视频资源对音视频进行匹配的方法及装置。

背景技术

20世纪80年代初，美国有线电视网开办了一个新栏目MTV(MusicTelevision)，内容都是通俗歌曲，然后再配以精致画面。这种音乐可视化形式迅速为人们所接受，各国的电视台也争相效仿。随着MTV的普及，其仅局限于电视播放这一狭窄范畴已无法满足需求，单独发行影碟、或者通过手机、网络的方式发布成为必然的要求，因此，MTV进一步演变成了MV(Music Video)这一特定的音乐可视化形式，即用歌曲配以精美的画面，使原本只是听觉艺术的歌曲，变成视觉和听觉结合的一种崭新的艺术样式；在欣赏音乐的同时，也能得到很好的视觉享受。

音频可视化，在PC版本的播放器中已有较为广泛的应用。例如：WindowsMedia Player，Winamp等常用的音频播放软件都可以支持音频可视化功能。且随着技术的发展，便携式音视频播放设备(如mp4播放器)大有取代之前的纯音频播放器(如mp3播放器)的趋势，而MV这种音乐形式也随之有了更广泛的受众群体。

虽然随着MV的盛行，现有MV资源中也已经包含有大量的带视频的音频文件，种类也已经很丰富。但是，纯音频文件仍然大量存在。目前音频可视化功能的实现都是基于参数模式的，也就是在播放纯音频文件时，实时提取音频信号的特征参数，根据音频信号的能量变化，利用固定的视频生成模型，生成能体现某些音频特征的视频文件。使得在欣赏音乐的同时，也能得到一定的视觉享受。但是，由于生成模型的固定性，使这种基于参数模型生成的视频效果较为单调，且由于大量纯音频的存在，也不可能逐一为其生成相匹配的视频文件。

发明内容

本发明实施例提供一种音视频匹配方法及装置，解决现有音乐视频(MusicVision，MV)资源与纯音频文件的匹配使用问题，获得了良好的音频可视化效果。

一种音视频匹配方法，包括：

确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配音乐视频MV文件；

将所述待匹配音频文件划分为若干音频部分，确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段；

根据所述音频部分和所述对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；以及

根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。

根据本发明的上述方法，所述确定待匹配音频文件所属的音频类别，具体包括：

对所述待匹配音频文件进行节拍和能量分析，根据其节拍信息和能量信息确定所属的音频类别；

所述选取存储的与所述音频类别相匹配音乐视频MV文件，具体包括：

根据确定出的所述音频类别，选取存储的相同音频类别的MV文件；其中，所述相同音频类别的MV文件，是指所述MV文件中包含的音频文件与所述待匹配音频文件的节拍信息和能量信息均相同或相近。

根据本发明的上述方法，所述确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段，包括：

确定所述MV文件中包含的音频文件中与所述待匹配音频文件的若干音频部分分别对应的所述对应音频部分；

根据确定出的所述对应音频部分，将所述MV文件中包含的视频文件划分为对应的若干视频段，得到与所述待匹配音频文件的每个音频部分分别对应的所述对应视频段。

根据本发明的上述方法，所述音频部分包括：桥段部分、主歌部分和副歌部分；

所述桥段部分，具体包括序唱、过门、间奏。

根据本发明的上述方法，所述根据所述音频部分和对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，具体包括：

根据所述对应音频部分的节拍速率和对应视频段的原视频播放帧率，计算得到所述对应音频部分每拍所对应播放的视频帧数；

根据所述每拍所对应播放的视频帧数和所述音频部分的节拍速率，计算每帧视频的匹配播放时间，确定出匹配视频播放帧率，调整所述对应视频段的视频播放帧率为所述匹配视频播放帧率。

本发明的上述方法，当所述音频部分节拍速率或所述对应音频部分的节拍速率有多个时，根据多个所述节拍速率分别对应的音频部分和对应音频部分的范围，对所述对应视频段的视频播放帧率分段进行调整。