[发明专利]一种深度学习和哈希编码的视频检索方法

说明书

本发明公开了一种深度学习和哈希编码的视频检索方法，其特征在于，使用同一种特征进行镜头分割和特征提取；在视频检索中，镜头分割把相同镜头的视频帧作为冗余帧处理以降低计算量并提升检索效率，将镜头特征提取算法得到的特征作为镜头切分的依据以解决同一镜头内不同帧的特征存在差异的问题。本发明所述方法的优越效果是能够实现镜头级别的视频检索并能提高检索的准确率；在视频检索能力方面的视频镜头检索准确率达95％以上,采用了纯二值操作，速度能够提升4倍。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种深度学习和哈希编码的视频检索方法。

背景技术

目前，视频检索包括两种类型，分别是基于文本的视频检索(Text Based VideoRetrieval,RBVR)，和基于内容的视频检索(Content Based Video Retrieval,CBVR)。基于文本的视频检索要求用户输入关键词，然后系统返回和输入关键词相关的图像，并按和关键词的相关程度来排序。这种检索方式在目前的互联网应用中较为广泛，但在很多情况下，用户无法用语言精确地描述想要检索的视频内容。

公开号为CN109033121A的专利申请公开了一种基于云存储的视频检索方法，包括以下步骤：将需检索的视频段信息进行截取获得若干个图片样本；图片样本转换为图像模型数据；对转换的图像模型数据进行特征向量的建立；将建立的特征向量与云存储中存储的若干视频段信息对应的原图像模型数据的特征向量进行重合度检测，得到重合度；筛选出重合度大于重合度阀值的视频段；筛选的视频段信息按照重合度系数的大小，依次输出对应的视频段。本发明通过对需检索的视频段进行截取、转换和匹配索引，可筛选出重合度大于重合度阀值的视频段信息。

公开号为CN108986186A的专利申请公开了文字转化视频的方法和系统，输入用自然语言表达的场景表述的文本信息；对视频数据集进行过滤筛选；对过滤后的候选视频片段和输入的场景描述匹配，输出匹配度高的视频片段；利用编码器和解码器，将匹配度高的视频片段进行文本描述；将筛选出的视频片段的文本描述与自然语言表达的场景的文本表述进行相似度的选择和比对，输出内容上符合自然语言表达的场景的输入文本的关键帧集合；在关键帧集合中进行识别和提取对象，生成对象集；依照场景图和对象集最终生成关键帧，生成视频。利用基于自然语言处理的视频检索方法。

因此，基于内容的视频检索，是一种根据视频内容来检索相似视频的方法。区别于基于文本的视频检索，在这种检索方式下，用户输入不是文字，而是一段视频或一副图像。基于内容的视频检索和基于内容的图像检索问题密切相关，两者都要解决图像间特征的提取、相似性的计算、大规模数据场景下快速索引的问题。两个问题的不同之处在于视频内容的冗余程度更大，需要对视频进行镜头级别的分析以降低检索时的计算量。常规的视频检索算法在分割镜头和提取图像帧特征时采用不同的特征提取算法，可能导致同一个镜头不同帧的画面特征存在较大差异。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的深度学习和哈希编码的视频特征提取方法，本发明所述方法的特征在于是基于视频图像的特征提取方法。

本发明所述方法包括以下步骤：

步骤1、将视频文件解码成视频帧。

步骤2、基于深度学习提取视频帧特征，将卷积神经网络CNN的卷积层输出特征作为图像检索的图像特征向量来使用。

步骤2.1、卷积层的输出特征表示为其中C表示特征图的通道数，H表示特征图的高度，W表示特征图的宽度；将单个关键帧的特征f从单一向量转换成局部特征描述子的集合以降低物体位移、镜头角度变化、物体尺度的干扰的影响；f′中的每一个元素为原特征图上坐标为i,j的特征向量，特征向量的数量为H*W个。

步骤3、通过特征哈希方法将浮点特征映射为二值特征，包括以下步骤：

步骤3.1、使用近似最近邻哈希方法将f′中单个局部特征描述子映射到哈希空间；