[发明专利]面向视频的目标片段定位方法、系统、存储介质及设备

说明书

本发明涉及跨媒体检索技术领域，本发明公开了面向视频的目标片段定位方法、系统、存储介质及设备，包括：获取视频和查询，并分别进行特征提取；分别对视频特征和查询特征进行编码后，计算查询和视频之间的相似度，得到视频级别分数；对于编码后视频特征，使用时序卷积学习视频帧之间的时序关系后，生成若干候选片段，并得到每个候选片段的细粒度特征；同时，基于编码后查询特征，获取查询的细粒度特征；通过构造哈希空间，计算查询和候选片段之间的相似度，得到片段级别分数；对于每个查询，基于视频级别分数和片段级别分数，在所有视频的候选片段中筛选出目标片段。提高了检索速度、并实现了可扩展性。

技术领域

本发明涉及跨媒体检索技术领域，具体的说，是涉及面向视频的目标片段定位方法、系统、存储介质及设备。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着城市化进程的加速和人口数量的增长，城市管理变得越来越复杂。为了实现城市智慧化，各种智能化技术被广泛采用，其中包括监控系统。监控系统已经成为城市管理的重要组成部分，它可以用于安全监控、交通管制、环境监测等多个方面。而监控视频由于冗长、信息密度低等特性，耗费了越来越多的人力成本和硬件资源，这为监控视频的智能化技术提出了新的挑战。

智慧城市中对监控视频的管理与分析是一个多学科交叉领域，涉及到计算机视觉、图像处理、深度学习、人工智能等多个技术领域，现有的技术涵盖了视频数据采集、处理、分析、存储等多个方面。具体来说，包括以下几类：首先是视频数据采集技术，这是视频监控系统的基础；进而是视频数据预处理技术，对该技术的良好运用可以有效提高视频处理效率，预处理技术包括视频去噪、运动补偿、图像增强、图像分割等多个方面，其中，运动补偿技术可以降低视频帧率，从而减少数据量，提高处理效率；然后是视频数据分析技术，这是智慧城市中监控视频应用的关键技术之一，视频数据分析技术可以分为两类，一类是基于规则的分析技术，另一类是基于机器学习的分析技术，基于规则的分析技术通常需要人工定义规则，而基于机器学习的分析技术则可以自动学习规律，提高分析效率和准确性，目前，视频数据分析技术主要应用于物体检测、行为识别、异常检测等方面；最后是视频数据存储和传输技术。

大规模目标片段定位技术是一种视频数据分析技术，其能够使用自然语言查询语句，面向信息密度较低的监控视频，对目标片段进行检索和定位的技术。该技术可以在语义层面上对查询语句和大规模语料库中的视频进行理解，从而定位到与查询语句在语义上最相关的目标视频片段，按照相关性返回片段的序列。通过大规模目标片段定位技术，可以实现对监控视频中的目标片段的追踪、分析和预测。

快速大规模目标片段定位方法的良好运用能够充分发挥监控视频的效用。比如，在城市交通管制方面，可以利用该技术快速分析大规模监控数据集，从而优化路况、预测事故、提高交通效率。在环境监测方面，可以利用该技术监控视频数据，从而检测污染源、预测气象变化等。此外，在智慧教育中，快速大规模目标片段定位方法可以实施即时监控与分析，如预测学生的行为模式，以及及时处理异常行为，从而应用于校园安全、学生行为监测等方面。总的来说，面向监控视频的快速大规模目标片段定位是智慧城市、智慧教育等领域的关键技术之一。

近年来，深度学习技术在视频检索领域取得了显著的进展，深度学习技术可以自动提取视频中的特征，通过学习和优化模型，可以实现更加准确和高效的视频检索。

但是，现有的快速大规模目标片段定位方法，使用实值特征对视频特征和文本特征进行存储，这增加了检索库中的存储空间；同时，视频特征和文本特征的提取过程是互相依赖的，这限制了模型的可扩展性。

发明内容

本发明为了解决上述问题，本发明提供面向视频的目标片段定位方法、系统、存储介质及设备，通过构造哈希空间进行检索，并将不同模态的特征提取和哈希编码过程分开进行，从而大大提高检索速度、并实现可扩展性。

为了实现上述目的，本发明采用如下技术方案：