[发明专利]一种相似视频检索方法、装置、系统及存储介质

说明书

本发明公开了一种相似视频检索方法、装置、系统及存储介质，涉及视频处理技术领域。该相似视频检索方法，包括以下步骤：获取视频图像数据集并根据常见编辑方法生成图像对，将图像对输入卷积神经网络中训练，计算中间特征和哈希层的对比损失，用随机梯度下降法优化损失，直至收敛，根据相似度检索相似视频。本发明采用图像对的数据训练方案，利用自监督的模式学习各种编辑形变方式，拉近编辑前后图像的相似度用以增加识别精度，为相似的图像生成一致的哈希码，提升了视频检索的鲁棒性和精度，低维哈希码可以快速完成计算匹配，即使长视频多帧的数据检索，计算速度还是较快，在保证检索精度的同时提升了检索速度。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种相似视频检索方法、装置、系统及存储介质。

背景技术

随着大数据时代的高速发展，大量丰富的音视频数据带来了丰富信息的同时也产生了如何在海量视频数据中的相似视频检索、相似视频去重等问题。由于各种视频编辑工具的广泛应用，视频经过了编辑修改，就很难用传统方法跟原始视频进行匹配查找。

相似视频检测方法有传统方法和深度学习的方法两种，近年来大多以深度学习的方法为主，基于深度学习的相似视频检索可分为两种：一种是将视频作为整体去检索，这种方式的速度很快，将视频作为一个整体，表现为一个特征值，但是精度上表现得不是很好，一旦视频发生了修改、截取、拼接等操作就无法检索出来；另一种是将视频抽成为一帧帧的图像进行检索，这种方式的精度表现往往很好，可检索速度很慢，当一个视频的时长很长的时候，会很长时间才返回结果，因此很难在具体应用中使用。

综上可知，现有技术中基于深度学习的检索方法存在不便在保证识别准确性的情况下，提升检索速度。

发明内容

本申请实施例通过提供一种相似视频检索方法、装置、系统及存储介质，解决了现有技术中基于深度学习的检索方法存在不便在保证识别准确性的情况下，提升检索速度技术问题，实现了训练方案基于自监督的方式，无需引入人工标注，引入局部特征挖掘模块，使用图像数据本身编辑变化后组成的图像对进行训练，更好的优化相似视频的检索识别，采用深度哈希编码的方式在视频分帧基础上提升检索速度，同时保证了识别的准确性。

本申请实施例提供了一种相似视频检索方法，包括以下步骤：

S1、获取视频图像数据集并根据常见编辑方法生成图像对；

S2、将图像对输入卷积神经网络中训练，计算中间特征和哈希层的对比损失，用随机梯度下降法优化损失，直至收敛；

S3、对视频库中的每个视频进行编号；

S4、根据相似度检索相似视频。

进一步的，所述S1生成图像对的具体步骤包括：

S11、根据存放在变换工具中的常见编辑方法对训练图像样本集中的样本进行处理；

S12、将原图与处理后的图两两作为图像对。

进一步的，所述常见编辑方法包括尺寸变化，截取和拼接。

进一步的，所述S2具体包括以下步骤：

S21、对输入卷积神经网络中的数据对提取特征向量对embeddiing1和embedding2；

S22、使用损失函数得到特征向量对并记为Loss_emb；

S23、对特征向量对进行处理得到局部特征紧凑图像表征embeddiing1.1和embedding2.1；

S24、对局部特征紧凑图像表征embeddiing1.1和embedding2.1进行哈希处理得到hash1和hash2，哈希码对损失记为Loss_hash；