[发明专利]一种相似或重复视频检索的方法和装置

说明书

本发明是一种相似或重复视频检索的方法和装置，装置包括应用程序模块、任务调度模块、基因提取模块和基因数据库模块，方法包括首先对视频库中所有视频提取视频基因，并插入Milvus向量数据库，检索时，同样提取待检索视频的基因并发起检索请求，基因数据库返回检索结果，具体包含视频基因入库和相似视频检索。本发明的优点：1)较现有技术方案检索准确度更高，能够减少漏检的情况；2)检索结果以相似图片数进行排序，更符合用户的检索需求；3)检索结果包含待检索视频与目标视频的重合度，有助于用户判断目标视频是否是重复视频；4)不依赖视频文本描述信息，只需提供视频文件即可。

技术领域

本发明涉及的是一种相似或重复视频检索的方法和装置，属于计算机多媒体(图像和视频)信息处理技术领域。

背景技术

现如今，互联网中充斥着大量重复或内容相似的视频，如何从海量视频中快速检索出重复的视频，成为越来越迫切的需求。

现有技术中的解决方案，一种是基于视频标题或简介等文本信息建立数据库然后进行文本检索，另一种是利用向量数据库进行检索(李兆星《相似视频搜索—Opera的Milvus实践》)，首先提取视频图像特征并记录向量数据库，然后计算检索结果中待检索视频和命中视频图像集的平均相似度，按图像集的平均相似度进行排序，平均相似度低于某个阈值认为两个视频相似。

然而在视频信息缺失的情况下，文本检索的方案并不适用，比如有时候只有一批视频文件，没有任何视频描述信息，想要在这批视频中查找重复的视频，就不能用文本检索的方法。另一方面，文本描述信息往往描述的不够全面，有时候会由于信息缺失导致检索结果召回率低下。

基于向量数据库结合图像集的平均相似度的方法虽然不依赖于文本描述信息，但是其图片集与图片集的相似度定义为“图片与图片集的相似度的平均值”，导致有时候会出现重合度(相似片段的时长)低的视频排名靠前的问题。例如命中视频和待检索视频中包含同一段广告，广告的内容完全一致，这时候检索结果中该命中视频排名就会很靠前，而真正重合度高的视频排名结果会靠后，这显然无法满足使用需要。

发明内容

本发明提出的是一种相似或重复视频检索的方法和装置，其目的旨在克服现有技术存在的上述不足，实现有效提高检索准确度，减少漏检。

本发明的技术解决方案：一种相似或重复视频检索装置，包括应用程序模块、任务调度模块、基因提取模块和基因数据库模块，

应用程序模块用于用户界面展示以及生成用户检索请求等，

任务调度模块用于解析应用程序模块发起的任务请求，包括视频基因入库请求与相似视频检索请求，并分别生成相应的子任务给基因提取模块和基因数据库模块，

基因提取模块用于接收和处理来自任务调度模块的基因提取子任务，

基因数据库模块用于接收和处理来自任务调度模块的基因入库和检索子任务。

一种相似或重复视频检索的方法，使用上述相似或重复视频检索装置，首先对视频库中所有视频提取视频基因，并插入Milvus向量数据库，检索时，同样提取待检索视频的基因并发起检索请求，基因数据库返回检索结果，具体包含视频基因入库和相似视频检索。

优选的，所述的视频基因入库包括以下步骤：

步骤1：应用程序模块发起视频基因入库请求；

步骤2：任务调度模块接收视频基因入库请求，并发起基因提取子任务请求到基因提取模块；

步骤3：基因提取模块提取视频基因并返回基因提取结果，提取视频基因具体包括：

1)利用ffmpeg开源工具对视频进行抽帧，抽帧的同时将图片缩放到224x224尺寸大小，抽帧图片保存在本地磁盘，抽帧间隔默认1秒，