[发明专利]基于多特征的视频索引方法

摘要

本发明公开了一种基于多特征的视频索引方法，包括利用样本图像生成图像的多个特征，包括局部聚合描述符和BOC描述符；根据所述局部聚合描述符和BOC描述符，训练编码本，并构建多特征分层索引；对所构建的多特征分层索引进行查询，获得候选集；根据镜头类型，确定图像的局部聚合描述符和BOC描述符赋予不同的权重，优化候选集排序结果，即可完成视频索引。本发明的方法通过优化图像特征描述符的生成，利用基于多特征的索引结构，将软分配思想与VLAD相结合，结合多特征，将索引划分为不同的特征索引层，优化了局部聚合描述符的生成，提高了局部聚合描述符的识别率，在保证查询速度的情况下，提高了查询准确率。

主权项

一种基于多特征的视频索引方法，通过查询图片对视频的关键帧图像进行查询，从而完成对视频的检索，其特征在于，该方法包括：从关键帧图像中选取样本图像，生成图像特征，包括局部聚合描述符和BOC描述符；根据关键帧图像的局部聚合描述符和BOC描述符，训练残差编码本，并构建视频图像的多特征分层索引；利用查询图片对所构建的多特征分层索引进行查询，获得候选集；根据视频图像的局部聚合描述符和BOC描述符的权重，优化候选集排序结果，即可完成视频索引；其中，所述构建视频图像的多特征分层索引的具体过程如下：首先，对样本图像进行训练，获得残差编码本；其次，根据所述残差编码本，对视频关键帧图像的局部聚合描述符和BOC描述符进行残差量化，分别获得关键帧图像的局部聚合描述符残差编码和BOC描述符残差编码；最后，将所述BOC描述符残差编码和局部聚合描述符残差编码分别作为第一层索引和第二层索引，并根据镜头类型获得各层索引所对应的倒排链表，即可得到多特征分层索引；所述查询的具体步骤如下：首先，查找多特征分层索引中最近的若干条倒排链表；其中所述查找过程具体为：根据查询图像的BOC描述符，在BOC特征索引层找到距离最近的多个倒排链表；根据查询图像的局部聚合描述符，在局部聚合描述符的特征索引层找到距离最近的多个倒排链表；根据查询图片的镜头类型选择相应的倒排链表，即可完成查找；然后，依据镜头类型，将相应的倒排链表中的候选对象取出作为候选集。