[发明专利]基于随机多视角哈希的大规模近重复视频检索方法

摘要

本发明公开了一种基于随机多视角哈希的大规模近重复视频检索方法，本发明首先通过时间间隔采样的方法提取视频关键帧，并提取关键帧的颜色直方图HSV和局部二值模式LBP特征；然后，通过线性映射和sigmoid函数将HSV和LBP特征映射到准哈希空间，并通过阈值化处理生成的准哈希码来获得最终代表视频的哈希码；最后，通过计算测试视频哈希码序列与其他视频哈希码序列的汉明距离，并根据汉明距离的大小来检索测试视频的近重复视频。本发明能够利用视频多视角的特征信息，并通过哈希映射来提高检索效率和准确性，从而实现大规模的近重复视频的快速检索。

主权项

1.一种基于随机多视角哈希的大规模近重复视频检索方法，其特征是按如下步骤进行：步骤一、训练阶段：步骤1、对数据集中的V段视频采用时间间隔采样的方法提取关键帧，从而获得n帧关键帧；步骤2、提取n帧关键帧的HSV颜色直方图特征矩阵和LBP局部二值模式特征矩阵表示所述HSV颜色直方图特征矩阵X⁽¹⁾中第i行第j列元素；表示所述LBP局部二值模式特征矩阵X⁽²⁾中第i行第j列元素；所述HSV颜色直方图特征矩阵X⁽¹⁾的大小为n×d₁，其中，d₁为所述HSV颜色直方图特征的量化级数；所述LBP局部二值模式特征矩阵X⁽²⁾的大小为n×d₂，其中，d₂为所述LBP局部二值模式特征的维度；所述HSV颜色直方图特征矩阵X⁽¹⁾中第i行行向量表示第i帧关键帧所对应的特征向量；所述LBP局部二值模式特征矩阵X⁽²⁾中第i行行向量表示第i帧关键帧所对应的特征向量；令X^(g)表示任一特征矩阵，其中，g＝1表示HSV颜色直方图特征矩阵；g＝2表示LBP局部二值模式特征矩阵；步骤3、生成所述n帧关键帧中任一关键帧所对应的s位哈希码；步骤3.1、利用式(1)对第i帧关键帧所对应的特征向量进行线性映射，得到第i行特征向量的第l个线性映射值式(1)中，为线性映射的第j行第l列结合系数，b_l为第l个偏置参数；步骤3.2、利用sigmoid函数对所述第i行特征向量的第l个线性映射值进行处理，得到sigmoid函数映射值z_il；从而将线性映射值所在的实数空间映射为sigmoid函数映射值所在的准哈希空间；步骤3.3、对所述sigmoid函数映射值zil进行阈值化处理，判断zil＞0.5是否成立，若成立，则令hil为1，否则令hil为0；从而获得第i帧关键帧的哈希码序列hi＝[hi1,hi2,…,hil,…,his]；hil表示第i帧关键帧的第l位哈希码；步骤4、在所述HSV颜色直方图特征矩阵和所述LBP局部二值模式特征矩阵中，利用高斯模型分别计算在给定第i帧关键帧时，第j帧关键帧与所述第i帧关键帧的相似程度的条件概率且令从而获得n帧关键帧之间的条件概率矩阵为步骤5、判断第i帧关键帧与第j帧关键帧是否属于同一视频，若属于，则令第i帧关键帧与第j帧关键帧的所属关系否则令从而获得n帧关键帧之间的所属关系矩阵判断第i帧关键帧与第j帧关键帧在数据集真值表中是否为近重复视频，若是，则令第i帧关键帧与第j帧关键帧的监督关系否则，令从而获得n帧关键帧之间的监督关系矩阵步骤6、利用式(2)计算得到n帧关键帧之间相似程度的概率矩阵P，并进行归一化处理，得到归一化后的概率矩阵式(2)中，表示条件概率矩阵系数；β表示所属关系矩阵系数；γ表示监督关系矩阵系数；且系数β、γ均大于0且小于1，系数β、γ之和为1；步骤7、在所述准哈希空间中，利用方差为1的高斯模型计算n帧关键帧之间的条件概率矩阵Q；步骤8、利用复合的Kullback‑Leibler(KL)散度计算概率矩阵和条件概率矩阵Q之间的差异S_KL；步骤9、利用式(3)优化目标方程O：式(3)中、μ为所设定的正则项系数；步骤10、采用标准的梯度下降算法优化第j行第l列结合系数以及第l个偏置参数b_l；步骤11、利用优化后的第j行第l列结合系数以及第l个偏置参数b_l，并按照步骤1至步骤3对所述数据集中的所有视频进行处理，得到所有视频的关键帧的s位哈希码序列；步骤12、利用式(4)计算获得所有视频中任一视频的s位哈希码序列中第e位哈希码式(4)中，Ind表示任一视频的关键帧集合，|Ind|表示任一视频的关键帧集合Ind的势；hye表示任一视频中第y帧关键帧的第e位哈希码；步骤二、检索阶段：步骤13、在所有视频中选定一个待检索视频，并利用汉明距离来衡量所述待检索视频与所有其他视频的s位哈希码序列之间的差异，从而根据待检索视频与其他视频之间的差异大小来判断是否为近重复视频。