[发明专利]一种基于慢变视觉特征的视频指纹提取方法

说明书

本发明公开了一种基于慢变视觉特征的视频指纹提取方法，包括以下步骤：对训练集的每个图像生成随机失真版本的图像，用原图像和失真图像训练空间特征，提取网络的参数；对训练集视频数据进行空间和时序的归一化预处理，处理为固定尺寸固定帧数；用空间特征提取网络的特征序列作为训练数据，训练LSTM网络；从训练好的空间特征中提取网络，将得到的特征与LSTM网络级联，提取视频指纹。本方法模拟了人的视觉感知原理，能够提取视频的指纹，具有鲁棒、高效的优点。可用于视频拷贝检测，视频检索等领域。

技术领域

本发明涉及视频拷贝检测领域，尤其涉及一种基于慢变视觉特征的视频指纹提取方法。

背景技术

随着视频分享网站和移动互联网的发展，网络上的视频数据急剧增加，由此带来了版权侵犯与非法内容传播等问题。由于数据量庞大，无法依靠人力搜索非法拷贝视频。为解决这一问题，近年来一些视频拷贝检测方法被陆续提出。视频拷贝检测是在已知源视频的前提下，从海量数据中搜索其拷贝版本。视频指纹算法是拷贝检测的关键技术，它将视频的主要内容描述为一个简短的内容摘要，类似于人类指纹。视频拷贝检测技术可以通过比较视频指纹辨别两段视频是否同源。

视频指纹的概念由斯坦福大学Indyk等[1]于1999年提出。近年来对视频拷贝检测技术的需求推动了视频指纹算法的研究，而特征提取是设计视频指纹算法的关键问题，直接决定了指纹的鲁棒性和区分性。按特征提取方式划分，视频指纹算法主要可分为两类：帧级别的空间指纹级联和时空联合指纹。

第一类方法独立计算视频每一帧的指纹，然后级联得到整段视频的指纹。Roover等[2]提出的径向哈希算法(Rash，Radial hashing)是这类方法的代表，Rash算法沿每帧径向方向计算像素值统计量作为指纹。利用梯度方向的重心具有鲁棒性的特点，Lee等[3]提出的算法以梯度方向的重心(CGO，Centroid of Gradient Orientations)作为特征计算指纹。此外，一些算法以感兴趣区域[4]和稀疏特征[5]为基础设计视频指纹算法。

第二类方法结合视频数据的时空关系计算视频指纹。比如，Li等[6]提出的结构图模型(SGM,Structural Graphical Models)通过时域和空间内的高效降维生成视频指纹。Nie等[7]将视频表示为张量，提出了一种基于张量分解的视频指纹算法。Esmaeili等[8]提出基于三维离散余弦变换(3D-DCT,Three-Dimensional Discrete Cosine Transform)的视频指纹算法，利用DCT变换的能量集中特性将视频的关键视觉信息抽象为简短指纹。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

大部分传统视频指纹算法依赖于手工设计的特征提取方法，通常只能刻画视频某一方面视觉特征。由于图像和视频数据所表达的信息十分复杂，手工设计的模型很难全面刻画这些信息，特别是一些抽象特征。

发明内容

本发明提供了一种基于慢变视觉特征的视频指纹提取方法，本发明从视频中学习视频指纹，引入慢变分析原理，包含视频帧序列中的时序相关信息，同时具有良好的鲁棒性、区分性和高效性，据此可应用于视频检索或者拷贝检测等领域，详见下文描述：

一种基于慢变视觉特征的视频指纹提取方法，所述视频指纹提取方法包括以下步骤：

对训练集的每个图像生成随机失真版本的图像，用原图像和失真图像训练空间特征，提取网络的参数；

对训练集视频数据进行空间和时序的归一化预处理，处理为固定尺寸固定帧数；