[发明专利]一种检测近重复视频的方法、装置及计算设备

权利要求书

1.一种特征获取装置，适于获取视频的特征向量，所述装置包括：

图像提取单元，适于提取所述视频的图像；

光流提取单元，适于提取所述视频的光流；

音频提取单元，适于提取所述视频的音频；

图像处理单元，适于基于所述视频的图像，利用卷积神经网络模型来得到所述图像的图像特征；还适于基于所述视频的光流，利用所述卷积神经网络模型来得到所述光流的光流特征；

音频处理单元，适于基于所述视频的音频，得到所述音频的音频特征；

特征处理单元，适于基于所述图像特征，利用循环神经网络模型来得到第一状态向量，所述循环神经网络模型为采用注意力机制的长短期记忆网络模型，包括第一长短期记忆网络模型和第二长短期记忆网络模型，注意力机制用于计算各个隐藏状态对应的注意力权重，所述第二长短期记忆网络模型的输入基于注意力机制和所述第一长短期记忆网络模型的输出；所述特征处理单元利用循环神经网络模型得到第一状态向量时，将所述图像特征输入所述第一长短期记忆网络模型，所述第二长短期记忆网络模型输出包括第一隐藏状态向量和第一单元状态向量的第一状态向量；

所述特征处理单元还适于将所述光流特征输入所述第一长短期记忆网络模型，所述第二长短期记忆网络模型输出包括第二隐藏状态向量和第二单元状态向量的第二状态向量；

所述特征处理单元还适于将所述音频特征输入所述第一长短期记忆网络模型，所述第二长短期记忆网络模型输出包括第三隐藏状态向量和第三单元状态向量的第三状态向量；

向量融合单元，适于基于所述第一状态向量、第二状态向量和第三状态向量，利用融合模型进行融合得到第四状态向量，所述第四状态向量包括第四单元状态向量和第四隐藏状态向量，所述第四隐藏状态向量根据所述第四单元状态向量计算得到；以及

输出单元，适于基于所述第四状态向量的第四隐藏状态向量，利用全连接网络模型来得到所述视频的特征向量。

2.如权利要求1所述的装置，其中，所述卷积神经网络模型为VGG-16卷积神经网络模型。

3.如权利要求1所述的装置，其中，所述音频处理单元适于采用快速傅立叶变换算法，得到所述音频的音频特征。

4.如权利要求1所述的装置，其中，所述全连接网络模型包括三层全连接层。

5.如权利要求1所述的装置，其中，所述图像提取单元适于按照预定时间间隔来提取图像。

6.如权利要求2所述的装置，其中，所述光流提取单元适于基于所述图像提取单元提取的图像来计算光流。

7.如权利要求1所述的装置，其中，所述特征获取装置利用训练视频库中的视频构造多个三元组来进行训练，所述训练视频库包括多个视频，所述视频标注有所述视频对应的类别，属于相同类别的视频彼此为近重复的，训练所述特征获取装置包括步骤：

从所述训练视频库中选择属于相同类别的第一视频和第二视频；

基于所述第一视频所包含的图像，利用卷积神经网络模型来得到所述第一视频的全局特征；

基于所述第二视频所包含的图像，利用所述卷积神经网络模型来得到所述第二视频的全局特征；

根据所述第一视频和所述第二视频的全局特征，计算所述第一视频与所述第二视频之间的距离；

基于所述第一视频与所述第二视频之间的距离，选择属于其他类别的第三视频；以及

利用包括所述第一视频、所述第二视频和所述第三视频的三元组来训练所述特征获取装置。

8.如权利要求7所述的装置，其中，所述利用包括所述第一视频、所述第二视频和所述第三视频的三元组来训练所述特征获取装置的步骤包括：

对所述三元组包含的各个视频，将所述视频输入所述特征获取装置，得到所述视频的特征向量；

基于所述第一视频、所述第二视频和所述第三视频的特征向量，计算三元组损失；

基于所述三元组损失来更新所述特征获取装置的参数。