[发明专利]基于新型语义空间的视频检索方法

说明书

技术领域

本发明涉及多媒体检索领域，提出基于新型语义空间的视频检索方法。

背景技术

传统的视频检索是基于视频的文本标签进行检索的，没有将视频特征和文本特征的相关性结合起来，导致检索结果不佳。基于概念的语义的视频检索成为了主流趋势，然而当前的技术主要是基于单一概念的语义进行视频检索，忽略了概念之间的从属关系，推导关系，并没有充分发挥概念语义之间的关系的能力。比如“坦克”，“迫击炮”，“轰炸机”等概念从属于“武器”这个概念，而“武器”这个概念对“战争”这个概念又有一定的推导能力。对于检索“战争”相关的视频时，当视频中出现了“坦克”，“迫击炮”，那么就有一定程度说明该视频与“战争”相关，即语义之间的关系网对于提高视频检索精度具有很大意义。

发明内容

本发明充分利用多个概念的语义之间从属关系和推导关系，构建一个全局统一的语义空间，在该空间上进行基于语义的检索，解决了当前基于单一概念的语义的方法进行视频检索的不足，从而提高检索精度。

本发明为了实现上述目的采用以下技术方案：

基于新型语义空间的视频检索方法，其特征在于：

给定一组基础的概念语义，构成传统概念语义空间C=[C_l，C₂，......C_N]，其中每个C_i为一个概念的语义，每个概念C_i对应一个检测器d_i，用以将视频的低级特征映射到概念空间中。

构建新的语义空间B的过程如下：

步骤A1：对语义空间进行转换，得到新的完备和紧致的语义空间P，可以根据C空间的情况来选择方法，线性空间可采用PCA，SVD，非负矩阵分解等，非线性空间可采用manifold方法。

步骤A2：将C空间中的语义映射到P空间中，然后的进行层次聚类，可使用Brown Cluster或其他算法。该聚类的结果可以构建一个树形结构，用来表达概念之间的从属和推广能力。

步骤A3：选择表达P空间中每个概念之间相似度度量的策略，使用WUP来表达具有从属和推广能力的相似度。其中D(p_ij)表示概念i和概念j的最短路径的树的深度，L(C_i,C_j)表示最短路径的长度。

步骤A4：采用步骤A3计算每个概念与其他概率的相似度，可以构造一个关系矩阵R，R为对称矩阵。对R进行谱分解，抽取其中的基向量构造新的语义空间B；

其中R=VΛVT=(VΛ12VT)T(VΛ12VT),]]>B=VΛ12VT,]]>V为R的特征向量矩阵，Λ为特征值对角矩阵。

检索过程，具体包括以下步骤：

步骤B1：对于一个属于原始语义概念空间C的未知语义将其映射到P空间中，形成将映射到新的B空间中，映射公式为：计算B空间中向量间的相似度，这里采用余弦相似度来计算，计算公式为：