[发明专利]一种基于时序特征的同源视频检索方法及系统

说明书

本发明公开了一种基于时序特征的同源视频检索方法及系统，包括对视频提取关键帧，使用深度残差卷积神经网络对关键帧提取特征，使用两个子模块提取对应的帧时序特征信息及帧重要性信息，经过特征聚合后得到视频的整体特征向量表示，使用孪生网络构建正负样本对网络参数进行训练，得到固定参数的网络模型后对保护视频及检索视频分别提取特征并检测相似度是否超过阈值，返回检测结果。本发明给出的深度残差卷积神经网络实现特征提取，时序特征信息提取及帧重要性信息提取两个子模块实现对侵权视频干扰帧及片段剪取调换顺序等操作的检测，提高了对多种侵权手段检测覆盖的效果，也提升了同源视频检索的准确性。

技术领域

本发明属于视频检索技术领域，具体为一种基于时序特征的同源视频检索方法及系统。

背景技术

前时代下随着信息技术不断发展，不同形式的数字作品在互联网上流传，由于各大短视频平台的兴起，短视频成为不同形式的数字作品中较为广泛的媒介，人们通过发布短视频分享和记录自己的生活和创意设计。但由于互联网上数字内容的易盗用、可篡改的特点，侵权者往往可以通过增添水印、改变帧率、改变色调、调整画面比例等操作对他人作品或内容简单变换后进行盗用，一些盗用者更采取这些操作的组合使得视频领域的侵权检测成为难题。

人们开始探索不同的检测方法尝试保护视频等数字作品的知识版权。目前视频领域的侵权检测一般需要同源视频检索方法(Near Duplicate Video Retrieval,NDVR)。NDVR的目标是对于需要检查是否被侵权的视频(查询视频)，在可能发生侵权的待检索视频库中逐一比对与查询视频的相似度，返回超过一定阈值的视频作为疑似侵权结果。

在深度学习技术兴起之后，现有的同源视频检索方法一般对视频提取关键帧。使用标注训练数据对神经网络参数进行训练直至收敛，检索时对关键帧使用训练好的卷积神经网络提取特征之后使用不同的对比方法得到视频对之间的相似度。而不同的对比方法大体可以分为：

(1)对所有关键帧的特征向量使用求平均等方式进行聚合后得到视频的整体特征向量表示，计算视频特征向量之间的余弦距离得到相似度。

(2)计算视频的关键帧与关键帧特征向量之间的距离作为帧与帧之间的相似度，使用词袋(Bag-of-Words,BoW)等方法对视频中各关键帧的序列关系进行分析。

然而，以上两类方式在一些常见的侵权场景中都存在一些缺陷。现有算法往往对视频均匀地每一定时长片段内提取一定数量帧作为关键帧，并且未能有效考虑帧与帧之间的时序关系信息。但是侵权者往往会对原视频插入干扰帧、对原视频关键帧增加大面积遮挡或是水印文字等内容、对原视频进行截取之后将片段分开缝入自己的侵权视频中，对现有检测方法造成一定性能影响。此外，现有的神经网络训练方式使得模型参数较为固定，在面对大量、复杂、多变的侵权手段时性能会有所下降，使得检测同源视频的性能有限。

发明内容

针对现有技术的不足，本发明提供一种基于时序特征的同源视频检索方法及系统。

为实现上述目的，本发明提供的技术方案是：

本发明公开了一种基于时序特征的同源视频检索方法，其包括以下步骤：

(1)构建神经网络模型，使用开源数据集对网络模型参数进行训练，训练直至模型参数收敛后将网络模型参数固定；

(2)使用训练完成的模型对需要保护及检索的视频提取对应特征向量；

所述的步骤(1)具体包括以下步骤：

(1-1)关键帧提取：查询及检索视频拆解成帧，按照视频时长在一定时长内提取一定数量帧，最后对提取出的帧进行采样，并缩放到特定尺寸后得到视频关键帧；