[发明专利]一种检测近重复视频的方法、装置及计算设备

说明书

本发明实施例公开了一种特征获取装置，包括：图像提取单元，适于提取视频的图像；光流提取单元，适于提取视频的光流；音频提取单元，适于提取视频的音频；图像处理单元，适于基于得到图像的图像特征；还适于得到光流的光流特征；音频处理单元，适于得到音频的音频特征；特征处理单元，适于基于图像特征得到第一状态向量；还适于基于光流特征得到第二状态向量；还适于基于音频特征得到第三状态向量；向量融合单元，适于基于第一状态向量、第二状态向量和第三状态向量，融合得到第四状态向量；以及输出单元，适于基于第四状态向量得到视频的特征向量。本发明实施例还公开了相应的模型训练方法、检测近重复视频的方法、装置、计算设备及存储介质。

技术领域

本发明涉及数据处理领域，尤其涉及一种检测近重复视频的方法、装置及计算设备。

背景技术

随着互联网的迅速发展，互联网上的与视频(特别是时长较短的短视频)相关的应用和服务爆发式增长。然而在这些海量的视频中存在着大量内容近重复的视频。为提高用户体验，避免向用户重复推荐相同的视频，近重复视频的检测问题十分重要。

目前，传统的近重复视频检测方法通常是使用诸如HOG、LBP之类的特征提取器来抽取视频中图像的特征，通过图像的特征来计算视频的差异，实现近重复视频的检测。这种方法的缺点一方面是检测准确率较差。特别是当视频量大幅度增加时，检测的准确率会快速下降。另一方面，泛化能力也较差，视频的很多特征(例如音频等)无法得到体现，且对视频的时域信息分析也不够充分。

因此，期望提供一种更为先进的近重复视频检测方案。

发明内容

为此，本发明实施例提供一种检测近重复视频的方法、装置及计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明实施例的一个方面，提供了一种特征获取装置，适于获取视频的特征向量，该装置包括：图像提取单元，适于提取视频的图像；光流提取单元，适于提取视频的光流；音频提取单元，适于提取视频的音频；图像处理单元，适于基于视频的图像，利用卷积神经网络模型来得到图像的图像特征；还适于基于视频的光流，利用卷积神经网络模型来得到光流的光流特征；音频处理单元，适于基于视频的音频，得到音频的音频特征；特征处理单元，适于基于图像特征，利用循环神经网络模型来得到第一状态向量；还适于基于光流特征，利用循环神经网络模型来得到第二状态向量；还适于基于音频特征，利用循环神经网络模型来得到第三状态向量；向量融合单元，适于基于第一状态向量、第二状态向量和第三状态向量，融合得到第四状态向量；以及输出单元，适于基于第四状态向量，利用全连接网络模型来得到视频的特征向量。

可选地，在根据本发明实施例的装置中，卷积神经网络模型为VGG-16卷积神经网络模型。

可选地，在根据本发明实施例的装置中，音频处理单元适于采用快速傅立叶变换算法，得到音频的音频特征。

可选地，在根据本发明实施例的装置中，循环神经网络模型为长短期记忆网络模型。

可选地，在根据本发明实施例的装置中，长短期记忆网络模型采用注意力机制。

可选地，在根据本发明实施例的装置中，第一状态向量包括第一隐藏状态向量和第一单元状态向量，第二状态向量包括第二隐藏状态向量和第二单元状态向量，第三状态向量包括第三隐藏状态向量和第三单元状态向量，第四状态向量包括第四隐藏状态向量。

可选地，在根据本发明实施例的装置中，全连接网络模型包括三层全连接层。

可选地，在根据本发明实施例的装置中，图像提取单元适于按照预定时间间隔来提取图像。

可选地，在根据本发明实施例的装置中，光流提取单元适于基于所述图像提取单元提取的图像来计算光流。