[发明专利]音视频内容检索方法及系统

说明书

技术领域

本发明涉及内容检索技术领域，尤其涉及一种音视频内容检索方法及系统。

背景技术

随着网络和多媒体技术的迅猛发展，音视频媒体的数量呈爆炸性增长，人们对数字音视频内容进行准确有效地管理和访问变得十分困难。近年来，基于内容的音视频检索出现了许多新的研究和发展方向，音视频指纹技术应运而生。

音频指纹(audio fingerprinting)技术在很早以前就被提出，例如，Jaap Haitsma和Ton Kalke在2002年音乐搜索进展国际会议上发表了“一种高可靠性的音频指纹系统”(A Highly Robust Audio Fingerprinting System)，这种系统通过信号处理的方法，将音频文件中每隔一段时间(例如11.6ms)的音频信号，转化为一个32比特(bit)大小的指纹(fingerprint)，通过这种方法一个音频文件就可以被转换为一个指纹文件，系统在对所有的音频指纹文件做索引后，就可以快速的音频指纹检索了。

与音频指纹技术原理相似，视频指纹(video fingerprinting)系统将每一帧或者几帧转化为很小的指纹(例如32比特大小)，然后进行检索。例如国际专利号为WO2007/127590A2的“Method and system for fingerprinting digital video object based on multiresolution，multirat and temporal signatures”公开了一种将视频信号的每帧转化为84比特或132比特的视频指纹处理方法，通过这种方法一个视频文件就可以被转换成一个很小的指纹文件。

目前，音视频指纹技术成为音视频检索的关键技术之一，现有的音视频指纹系统通常是先对输入的音视频进行指纹特征提取，然后按照指纹特征的帧序，按顺序在指纹数据库中进行倒排索引的检索，以快速高效的识别和检索出音视频内容。

然而，现有的音视频指纹系统中，音视频的码率、格式和噪声干扰会导致指纹特征变形，进而影响检索性能。

发明内容

本发明的目的在于提供一种音视频内容检索方法，在基于音视频指纹进行音视内容检索时，能根据指纹的先验容错度进行音视频片段的选择，提高音视频检索的识别率。

为解决上述问题，本发明提供一种音视频内容检索方法，包括：

接收一音视频片段；

提取该音视频片段每一帧的指纹特征，获得一输入指纹序列；

计算所述输入指纹序列中每帧指纹的抗干扰程度；

对所述输入指纹序列中的每帧指纹，在包含该帧指纹在内的连续若干帧指纹中选出抗干扰能力最强的多个非连续帧指纹作为该帧指纹的待匹配指纹块；

依次对所述输入指纹序列中的每帧指纹，查询出该帧指纹在一标准指纹数据库中的位置，并计算该帧指纹所在的待匹配指纹块与标准指纹块的差异程度，当某帧指纹的差异程度小于预设值时，检索到所述音视频片段匹配的音视频内容。

进一步地，提取该音视频片段每一帧的指纹特征的步骤包括：

首先，对于固定采样率的单声道音视频，按固定帧移，将音视频分成若干毫秒的帧，加汉明窗；

然后，对每一帧做傅立叶变换，提取功率谱，将功率谱中某段频带采用对数刻度均匀分为互不相交的33个子带，并计算每一帧的子带能量；

接着，计算同一帧内相邻两子带能量差分和相邻两帧同一子带的能量差分，得到每一帧指纹特征值。

进一步地，计算所述输入指纹序列中每帧指纹的抗干扰程度的公式为：Roubust(n)＝ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1)))，

其中Robust(n)表示第n帧指纹的抗干扰程度，E(n，m)表示第n帧的第m个子带的能量。

进一步地，计算所述输入指纹序列中每帧指纹的抗干扰程度的公式为：

其中Robust(n)表示第n帧指纹的抗干扰程度，

E_frame_sor＝sort_m＝1，32(ABS(E(n，m)-E(n，m+1)-(E(n-1，m)-E(n-1，m+1))))

E(n，m)表示第n帧的第m个子带的能量，sort()表示排序。

进一步地，每一帧指纹的抗干扰程度通过频谱值或色彩值来计算获得。

进一步地，所述差异程度用比特位错误率BER(Bit Error Rate)表示，其计算公式如下：