[发明专利]一种基于卷积及循环神经网络的视频拷贝检测系统及方法

摘要

本发明公开了一种基于卷积及循环神经网络的视频拷贝检测系统，该系统包括5个模块，分别为数据集建立模块、帧特征提取模块、时空特征训练模块、循环网络测试模块和拷贝视频匹配模块，其中时空特征训练模块还包括视频剪辑模块和循环网络训练模块。本发明采用残差卷积神经网络有利于提取更深层次的帧级特征表示，有效的提高检测准确率，降低检测召回率，采用孪生循环神经网络以融合多个帧级特征，利用帧间的动态信息生成时空特征表示，实现了序列间的时空融合，使得视频匹配耗费时间少、占用内存低。

主权项

1.一种基于卷积及循环神经网络的视频拷贝检测系统，其特征在于，该系统包括：数据集建立模块，使用公开视频拷贝检测数据集CC_WEB作为循环神经网络的训练集，使用公开视频数据集VCDB作为测试集；帧特征提取模块，采用50层的残差卷积神经网络ResNet50提取所述训练集视频的图像帧级静态特征；时空特征训练模块，该模块包括视频剪辑模块和循环网络训练模块，所述视频剪辑模块用于将所述训练集中的视频剪辑成若干剪辑段，并将所述若干剪辑段组合成若干个剪辑对，所述剪辑对包括剪辑内容相同的剪辑对和剪辑内容不相同的剪辑对；所述循环网络训练模块利用所述剪辑对中的帧级静态特征序列训练孪生循环神经网络，生成降维的时空特征表示，并采用比较损失函数优化所述孪生循环网络的参数；循环网络测试模块，用于将所述测试集中的库视频和待查询视频生成时空特征表示，所述生成方法是采用所述循环网络训练模块中训练的孪生循环神经网络；拷贝视频匹配模块，用于使用基于图的时空网络算法匹配所述测试集中的库视频，以确定所述待查询视频是否为拷贝视频。