[发明专利]一种基于深度学习的视频近似拷贝检索算法

说明书

本发明属于图像与视频处理技术领域，具体为一种基于深度学习的视频近似拷贝检索算法。本发明算法分为两个阶段：离线构建索引阶段和在线检索阶段。在离线构建索引阶段，使用深度卷积神经网络提取采样帧的特征值，然后采用k‑d树为视频库内的所有视频采样帧集建立索引；在在线检索阶段，采用同样的方法提取查询视频的采样帧的特征值，并用近似最近邻搜索的方法在索引库中找出与其相似的候选视频，最后计算出所有候选视频与查询视频的相似度，并将相似度由高到低排序后给出近似拷贝检索的结果。本发明可大幅加速整个检索过程，同时可得到候选视频与查询视频的相似可能性以供后续步骤使用，进一步提高了检索速度。

技术领域

本发明属于图像与视频处理技术领域，具体涉及一种视频近似拷贝检索算法。

背景技术

随着社交网站和媒体的巨大成功，视频数量的快速增加，相似甚至相同的视频经常会被不同用户重复上传。本发明使用的视频近似拷贝检测技术可以被认为是传统的基于内容的视频近似检索(视频应当具有相似的视觉内容，但不用考虑语义)和基于语义的视频检索(视频应当具有相同的语义，但不用考虑视觉内容)之间的桥梁，能有效的去除重复视频，进而节约存储空间并加快检索速度，有着广阔的应用前景。

现有的视频近似拷贝检索算法大都可分为三个主要步骤：提取视频库内采样帧的特征值、为所有视频采样帧建立索引和在线检索。

特征提取部分可以通过计算视频序列的特征值完成，也可以只计算选定的关键帧的特征值。其中特征可以是代表了整个关键帧内容的全局特征或仅代表关键帧中兴趣点的局部特征。检索部分，通过传统的最近邻搜索、二分图匹配算法、树结构、以及近似最近邻居搜索算法等得到与查询视频相似的视频。在应用这些算法进行视频近似拷贝检测时，如何满足大规模视频近似拷贝检测的实时性要求是一个非常有挑战性的问题。

发明内容

本发明的目的在于提供一种基于深度学习的视频近似拷贝检索算法，应用于相似视频的近似拷贝检测系统，以解决相似视频重复上传的问题。

本发明提出的基于深度学习的视频近似拷贝检索算法，分为两个阶段：离线构建索引阶段和在线检索阶段。

在离线构建索引阶段，使用深度卷积神经网络提取采样帧的特征值，然后采用k-d树为视频库内的所有视频采样帧集建立索引；

在在线检索阶段，采用同样的方法提取查询视频的采样帧的特征值，并用近似最近邻搜索的方法在索引库中找出与其相似的候选视频，最后计算出所有候选视频与查询视频的相似度，并将相似度由高到低排序后给出近似拷贝检索的结果。算法流程框架如图1所示。

一、离线构建索引阶段，具体步骤为：

(1)按照每秒一帧的固定采样频率，将视频库中的所有视频采样为若干采样帧，得到视频帧集；

(2)提取所有采样帧的特征值

采用标准的AlexNet[1]模型，在网络的F7和F8之间加入一个隐藏层H，以隐藏层的状态作为帧特帧值。这个隐藏层H是全连接层，它的神经活动受到下一层F8的调控，而F8编码了语义信息并实现了图像分类。关于标准的AlexNet模型具体见参考文选[1]。

网络在目标领域的数据集上通过反向传播来进行微调，网络的初始权值设定为从ImageNet数据库训练得到的权值，隐藏层H和最终层F8的权值被随机初始化。隐藏层H的初始权重表现得很像局部敏感哈希(LSH)，而LSH也是使用随机映射来构建哈希位的。而后随着微调过程的进行，这些随机值逐渐从LSH的形式变为更加适应监督深度学习数据的形式；

(3)构建特征值索引

选择使用k-d树[2]为所有视频帧特征向量建立索引，其中索引号即为视频帧号，每一个节点都是一个K维的视频帧的特征值向量，关于k-d树，见参考文选[2]；假设帧x_i的特征向量为：