[发明专利]一种利用紧凑视频主题描述子进行视频检索的方法

说明书

技术领域

本发明涉及模式识别与机器学习领域，特别涉及一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法。

背景技术

最近几年，随着互联网以及各种多媒体终端的快速发展，上传到在线视频网站(如优酷、YouTube)上的视频数据量呈指数增长，并且大多数视频缺少文本标注。因此自动的学习紧凑的视频表示对于提高基于内容的网络视频检索的效率至关重要，特别是在带宽受限的移动视觉搜索系统当中。然而由于网络视频往往采集于不受控制的条件之下(例如来自不同的拍摄者、不同的设备)，其内容和清晰度具有很大的差异性。这给视频表示的学习带来了极大的挑战性。

传统的多媒体检索任务通常采用词袋表示的方法，但是词袋表示的高维特性使得其在大规模数据库上的检索效率非常低下。研究工作开始转向如何学习紧凑并且能够维持区分力的特征表示，例如局部特征向量降维、图像或视频帧的视觉签名压缩等。尽管如此，目前对整个视频的紧凑特征表示的研究仍处于空白阶段。为了弥补这一空缺，本发明提出了一种基于无向图模型的无监督方法自动的发掘隐含在视频词袋表示中的紧凑主题描述子来进行视频检索的方法。本发明利用视频数据库中所有视频而非单个视频的统计信息来实现描述子的紧性，从而很好的维持了其区分力。

发明内容

为了解决现有技术存在的缺陷，本发明提供一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法。

本发明所提出的一种利用基于无向主题模型的紧凑视频主题描述子进行视频检索的方法包括以下步骤：

步骤S1，将视频数据集中的部分视频作为视频训练集，剩下的视频作为视频测试集；

步骤S2，对所述视频数据集中的每一个视频提取其局部特征；

步骤S3，从提取得到的局部特征中随机抽取足够数量的局部特征，利用聚类算法训练得到一视觉词典，并利用该视觉词典对每一个视频的局部特征进行编码得到每个视频的词袋向量v；

步骤S4，将每一视频的词袋向量v建模为可见单元并作为主题模型的输入，将相应视频的主题描述子c建模为隐含单元并作为所述主题模型的输出，得到主题模型；

步骤S5，将所述视频训练集随机划分为多个子集，对于每一个子集分别计算所述主题模型的目标函数中的对数似然项和稀疏正则项对于可见单元的偏置参数a、隐含单元的偏置参数b和连接可见单元与隐含单元的权值W的梯度；

步骤S6，随机初始化偏置参数a、b和权值W的值，根据所述对数似然项和稀疏正则项对于偏置参数a、b和权值W的梯度，利用随机梯度下降法对偏置参数a、b和权值W分别进行更新直到所述主题模型的目标函数收敛到给定最小值或达到迭代停止条件，最后得到一个有稀疏约束的非负无向主题模型；

步骤S7，根据所述步骤S2和S3提取得到所述视频测试集中测试视频的词袋向量，并将所述测试视频和所述训练视频的词袋向量一并输入到所述步骤S6得到的有稀疏约束的非负无向主题模型中，利用隐含单元对可见单元的条件概率分别推断得到所述测试视频和训练视频的主题描述子；

步骤S8，分别计算所述测试视频的主题描述子与所述视频训练集中每一个训练视频的主题描述子之间的余弦距离，并根据所述余弦距离进行视频检索，得到与所述测试视频相似的视频。

由于本发明中用到的主题模型的隐含单元变量为非负值，因而学习到的视频主题描述子不仅能够表示每个视频主题是否存在，而且能够反映各个主题之间的相对重要性，从而更加具有区分力；同时主题模型的稀疏性约束使得学习到的主题描述子更加具有鲁棒性，并且更具有可解释性。

附图说明

图1是本发明利用紧凑视频主题描述子进行视频检索的方法流程图。

图2是根据本发明一实施例利用稀疏非负无向主题模型对视频建模的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明基于无向主题模型学习了一种紧凑的视频主题描述子，并将其用于网络视频检索。通过引入非负实值隐单元和稀疏约束正则项，本发明扩展了无向主题模型来使学习到的主题描述子更加具有区分力。同时本发明还给出了一种有效的方法来训练这个扩展的主题模型。

图1是本发明利用紧凑视频主题描述子进行视频检索的方法流程图，如图1所示，所述方法包括以下步骤：

步骤S1，将视频数据集中的部分视频作为视频训练集D，剩下的视频作为视频测试集；

步骤S2，对所述视频数据集中的每一个视频提取其局部特征；