[发明专利]一种基于草图的场景级细粒度视频检索方法及系统

说明书

本发明公开了一种基于草图的场景级细粒度视频检索方法及系统，属于计算机视觉领域，通过提取草图特征，构建基于外观特征和类别特征的草图空间结构图；提取视频特征，构建基于视频时序信息、外观特征和类别特征的视频时空结构图，利用自适应帧采样策略进行视频帧采样，先对视频帧稀疏采样，再利用草图‑视频关联关系模型进行视频帧筛选，利用草图‑视频检索模型中完成视频细粒度检索。本发明将出现在不同时间段的物体压缩至同一张草图中，进行场景级的视频内容概括，检索出与草图背景元素、物体外观特征与动作类型均一致的视频。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于草图的场景级细粒度视频检索方法及系统。

背景技术

草图作为一种手绘图像，通过简单的线条组合可以抽象性地展示物体的外观特征及位置信息，被广泛应用于基于草图的图像研究中，如图像补全、图像检索、图像生成等各项任务。草图可以跨越时序信息将不同时间段的物体及相应动作概括在一张草图内，在结合时序信息和空间位置上的优越性使其逐步被应用于视频相关任务上，基于草图的视频检索(Sketch-based Image Retrieval，SBVR)任务取得了巨大的研究进展，它可被广泛应用于视觉、多媒体领域，如视频浏览、视频查询和编辑等工作中。但现有的大部分基于草图的视频检索工作采用传统方法，草图仅绘制简单的线条轮廓进行类别级别的视频检索；而采用深度学习方法的实例级别的视频检索仅针对单个物体，且不包含背景信息。

草图可以描述物体的外观特征及动作过程，结合空间位置和时序信息，可有效地提高视频检索效果。传统方法(参考文献：J.P.Collomosse,G.McNeill,and Y.Qian,“Storyboard sketches for content based video retrieval,”in 2009IEEE 12thInternational Conference on Computer Vision.IEEE,2009,pp.245–252.)是先将视频帧分割为彩色区域，提取区域特征：面积、颜色、前景物体等，再通过帧间单映射代表相机运动，从而代表人的运动轨迹，然后由草图加草图符号来进行视频检索。Peng Xu(参考文献：P.Xu,K.Liu,T.Xiang,T.M.Hospedales,Z.Ma,J.Guo,and Y.-Z.Song,“Fine-grainedinstance-level sketch-based video retrieval,”arXiv preprint arXiv:2002.09461,2020.)采用深度学习方法，利用三元组网络，特征提取分为外观特征流和动作特征流，最后将特征进行融合，利用三元组损失函数进行视频检索任务。场景级SBIR(参考文献：F.Liu,C.Zou,X.Deng,R.Zuo,Y.-K.Lai,C.Ma,Y.-J.Liu,and H.Wang,“Scenesketcher:Fine-grained image retrieval with scene sketches,”2020.)实现的是场景草图检索图像，无法捕捉视频中的动作信息。

由上述可知，现有的基于草图的视频检索方法不能解决复杂场景下含有多个物体的细粒度视频检索问题。

发明内容

本发明的目的在于提出一种基于草图的场景级细粒度视频检索方法(Scene-level Video Retrieval with Sketches)及系统，本发明进行场景级(即包含多个前景物体和背景信息)的基于草图的视频检索，通过将出现在不同时间段的物体压缩至同一张草图中，进行场景级的视频内容概括，检索出与草图背景元素、物体外观特征与动作类型均一致的视频。

为达到上述目的，本发明采用的技术方案如下：

一种基于草图的场景级细粒度视频检索方法，包括以下步骤：