[发明专利]一种基于深度学习和图论的拷贝视频检测方法和系统

说明书

技术领域

本发明属于多媒体信息处理技术领域，更具体地，涉及一种基于深度学习和图论的拷贝视频检测方法和系统。

背景技术

随着信息技术、视频采集设备和视频编辑软件的发展，视频数据呈现海量增长的趋势。互联网上每天都有大量的视频被上传和下载，这就导致互联网上存在着大量的相似或者拷贝视频。大量拷贝视频的产生给视频内容监管、视频版权保护、视频搜索引擎结果排序等多方面带来技术性的难题。利用计算机进行拷贝视频检测研究是近年来人们普遍关注的新兴研究课题，其涉及到的关键帧相似性匹配、视频子序列相似性匹配等技术已引起了越来越多学者和机构的关注。

目前，拷贝视频片段检测技术研究主要集中于基于视频关键帧特征的相似性匹配以及视频子序列的相似性匹配两方面。基于视频关键帧特征的相似性匹配目前研究主要集中于基于关键帧的局部特征进行相似性匹配，局部特征即通过提取关键帧的局部关键点并对关键点进行描述从而对关键帧进行描述。对于视频子序列相似性匹配方面的研究主要是采用模板序列匹配的方法，模板序列匹配是指以待检测视频序列的长度为窗口长度，然后以一个步长在参考视频序列中依次滑动，度量窗口内对应视频序列的相似度值。

然而，现有的拷贝视频检测方法存在以下的技术问题：第一，局部特征点检测算法较为复杂，局部描述子的维度高，且使采用局部特征进行关键帧相似性匹配需要对关键帧进行两两相似度计算，因此时间消耗过大，在应对大规模数据集时算法的效率不高；第二，基于模板序列匹配的视频子序列相似性匹配方法很难应对帧率改变、插帧、丢帧等视频编辑变换，而且在视频规模较大时，基于模板序列匹配的方法时间复杂度较高；第三，当前绝大多数的拷贝视频检测研究均侧重于待检测视频与参考视频长度相等的情况和待检测视频是参考视频子集的情况，但是当待检测视频本身也为拷贝片段和非拷贝片段拼接且拷贝片段仅为参考库视频中的子集时，当前研究方法就变得难以应对，检测的准确率也会大大降低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习和图论的拷贝视频检测方法和系统，其目的在于，解决现有方法中存在的拷贝视频检测时间消耗大以及对部分视频编辑变换方式难以应对的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习和图论的拷贝视频检测方法，包括以下步骤：

(1)抽取参考库视频中的关键帧，从关键帧中提取关键帧特征，并将该关键帧特征存储在参考库视频数据库中；

(2)抽取待检测视频中的关键帧，并从关键帧中提取关键帧特征；

(3)采用近似最近邻搜索算法对步骤(1)中得到的参考库视频数据库中的关键帧特征和步骤(2)中得到的待检测视频中的关键帧特征进行相似性匹配；

(4)根据图论的方法对步骤(3)得到的相似性匹配列表进行拷贝视频片段的判断与定位。

优选地，步骤(1)具体包括以下子步骤：

(1-1)抽取参考库视频中的多个关键帧，具体是按照时间间隔T秒抽取一个关键帧，其中T为自然数；

(1-2)将步骤(1-1)中获取的多个关键帧进行归一化，将归一化的关键帧大小减去图像均值，并将结果输入到卷积神经网络模型进行处理，并将处理得到的W维向量作为关键帧特征，其中W为自然数；

(1-3)将步骤(1-2)中获得的关键帧特征按生成时间的先后顺序保存在参考库视频数据库中，并记录每个关键帧特征所对应的参考库视频序号。

优选地，步骤(1-2)中采用的是AlexNet卷积神经网络模型FC7层输出的的4096维向量，即W＝4096。

优选地，步骤(2)具体包括以下步骤：

(2-1)抽取待检测视频中的多个关键帧，具体是按照时间间隔S秒抽取一个关键帧，其中S为自然数；

(2-2)将步骤(2-1)中获取的多个关键帧进行归一化，将归一化的关键帧大小减去图像均值，并将结果输入到卷积神经网络模型中进行处理，并将处理得到的W维向量作为关键帧特征。

优选地，步骤(3)具体包括以下步骤：

(3-1)读取参考库视频数据库中的关键帧特征R＝{r₁,r₂,...,r_n}，并将所有关键帧特征组合为W×n的矩阵，其中n表示参考库视频数据库中关键帧的数量，r_j为参考视频关键帧，且j∈(1,n)；