[发明专利]基于音频指纹特征的音乐检索系统

说明书

本发明属于信息检索技术领域，具体为一种基于音频指纹特征的音乐检索系统。该系统由预处理模块、特征提取模块、倒排索引模块和精匹配模块四部分组成。预处理模块主要完成音频信号的转换、重采样、滤波；特征提取模块是对音频文件的表示，采用音频指纹特征，通过两次基于动态阈值的筛选来选取频谱中最为稳定的点作为特征点，用一个点对表示一个特征；倒排索引模块是将特征作为关键词，由歌曲库的特征建立倒排索引，根据相同关键词多少返回索引结果；精匹配模块是结合音频特征间的时序关系，采用改进的编辑距离作为两个特征序列的相似度，以此优化索引结果。本系统适用海量音乐检索，尤其能对录音查询片段进行有效检索。

技术领域

本发明属于信息检索技术领域，具体涉及音频信号处理和多媒体信息检索系统，进一步涉及一种基于音频指纹特征的音乐检索系统。

背景技术

早前，由于音乐信息是非结构化数据，其检索系统一般通过基于文本描述来实现检索。例如在互联网中检索一首歌曲，以歌曲的名字、歌唱者、作歌者、歌曲存取格式等来检索。该方法具有很多的缺点：数据量越来越大，从而人工注释工作量也随之加大；音频感知难以用文字注释表达清楚；信息描述具有一定的主观性。而基于内容的音乐检索系统是根据信息本身的特征参数而非外部属性对内容进行检索，其提取过程由程序自动完成。因此，其不存在对信息描述的主观性，能更好的表示音乐信息，从而使检索更加有效。

音频特征是音频信息的结构化表示，是基于内容的音频检索系统中较为关键的一步，音频特征的好坏直接影响系统性能。音频特征分为时域音频特征和变换域音频特征，时域音频特征较为容易提取，但抗噪能力较差；变换域特征提取过程较复杂，抗噪能力良好，使用较多。在变换域特征中，较为常见的是基于傅里叶和小波变换的特征。早期，Mel倒谱系数(MFCC)和线性预测倒谱系数(LPCC)特征较为经典，特别是MFCC，由于其特征是根据人的听觉模型生成的，应用较为广泛。随着音频指纹特征的出现，由于其特征鲁棒性较好，使得大量学者投入在这方面进行研究，发展较快。

目前，基于音频指纹特征的音乐检索系统以Shazam公司和Philips公司的音乐检索系统较为经典。Shazam公司的音乐检索系统是在频谱上选取局部极值点作为特征点，然后把相邻的两个特征点组成一个点对来表示一个特征；采用hash索引实现检索；查询时，使用直方图统计相同特征点的时间差，一般目标歌曲的时间差是统一的，将会集中出现在某处，从而检索到该歌曲。该系统查询方式并不适用海量音频检索，而且局部极值点非常多，导致特征数据非常多，很多特征抗噪能力差。在Philips公司的音乐检索系统中，特征是在频谱上计算各频段能量，根据相邻帧的能量大小，将各频段量化成 0 或 1，所有频段组成一个二进制序列，通过哈希(hash)函数，得到最终特征。采用哈希表实现检索，通过统计词频数来进行检索排序。在海量音乐数据下，hash冲突会非常多，也不适用，同时在特征性能上不如前一种指纹特征。

发明内容

本发明的目的在于提供一种基于音频指纹特征的音乐检索系统，该系统能够在海量音乐信息下进行快速准确的检索，且能够对录音查询片段进行有效检索。

本发明提供的基于音频指纹特征的音乐检索系统，包括预处理模块，特征提取模块，倒排索引模块和精匹配模块四个部分。其中：

所述的预处理模块，用于音频文件格式统一，音频重采样和音频滤波。

所述的特征提取模块，用于对音乐文件的结构化表示，采用基于动态阈值的音乐指纹特征。首先对歌曲序列进行分帧，帧之间有较高重叠率，对每帧进行快速傅里叶变换（FFT），处理完所有帧，得到频谱矩阵；接着，对频谱矩阵进行平滑处理；然后，在矩阵中选取极值点，并根据动态阈值对这些点进行两次筛选，取大于阈值的点作为特征点；最后，用一个点对来表示一个特征，并经哈希（Hash）函数变换，一个哈希值即为一个特征。对于每个特征点，在其后续频段的邻近区域内，选取最多P个最近邻的特征点与该特征点一一组成特征，所有特征按帧的先后顺序和特征点的筛选顺序组成一个特征序列。