[发明专利]一种实例检索方法、装置、设备及存储介质

说明书

本发明公开了一种实例检索方法、装置、设备及存储介质，该方法包括步骤：获取视频中的镜头类型，并提取视频中每个镜头的关键帧，根据所述关键帧，对目标镜头的每个关键帧中的人物和地点进行检测，以确定目标镜头的人物预测向量和地点预测向量；根据所述目标镜头的人物预测向量和地点预测向量，建立人物语义视觉相似度矩阵和地点语义视觉相似度矩阵；对视频中每个镜头的位置进行编码；将所述镜头类型、人物语义视觉相似度矩阵、地点语义视觉相似度矩阵以及每个镜头的位置编码，输入到时空注意力模型，最终得到具有语义关联性的人物‑地点语义检索结果。本申请能够提高复合语义实例检索的精度，并且有效避免了人物和地点语义检索得分互斥的问题。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种实例检索方法、装置、设备及存储介质。

背景技术

实例检索技术是从视频中细致地查找出某类对象中的特定个体，例如在视频侦查中，办案人员关注的重点通常不会是一般意义上的行人或者车辆，而是与案件密切相关的特定嫌疑目标。类似地，在观看影视剧时，观众的焦点通常也不会是一般的角色人物，而是更多地放在男、女主角身上。相比于概念检索，实例检索的目标不再是查找某一类对象，而是从这一类对象的众多个体中去查找特定的个体。这种检索粒度上的变化使得多媒体实例检索问题面临着较以往类别检索更为严峻的挑战。

得益于深度学习技术的飞速发展，针对单一语义的视频实例检索技术已经取得了令人欣喜的进展，现在既可以从影视剧视频中检索出特定的角色人物，也可以从监控视频中准确检索出特定的行人或者车辆，还可以从体育视频中精准定位特定的明星球员。

目前现有的“人物-地点”复合语义检索方法大致有两种：

第一种方法没有考虑人物和地点二者间在影视剧中存在的语义关联信息，而是直接简单地将“人物”和“地点”检索结果相叠加来得到“人物-地点”二元语义的检索结果。这种方法没有考虑到复合语义的关联信息，因此在面对人物-地点语义检索得分互斥的问题时检索效果并不理想。

第二种方法采用固定范围(前四后四一共八个镜头)和固定相关性(采用高斯分布按镜头间隔衰减赋值)的镜头集合对当前镜头的语义检索得分进行推测。但是这种做法存在两个明显缺陷：首先，不同视频对于最佳“固定范围”的界定存在极大差异，甚至同一视频内部不同场景下的情况也千差万别，因此使用固定范围的镜头组来进行分数重构的思路其泛化性不强。

因此，如何提高复合语义检索结果的精度，是目前亟需解决的技术问题。

发明内容

本发明主要目的在于提供了一种实例检索方法、装置、设备及存储介质，能够提高复合语义实例检索的精度，并且有效避免了人物和地点语义检索得分互斥的问题。

第一方面，本申请提供了一种实例检索方法，该方法包括步骤：

获取视频中的镜头类型，并提取视频中每个镜头的关键帧，根据所述关键帧，对目标镜头的每个关键帧中的人物和地点进行检测，以确定目标镜头的人物预测向量和地点预测向量；

根据所述目标镜头的人物预测向量和地点预测向量，建立人物语义视觉相似度矩阵和地点语义视觉相似度矩阵；

对视频中每个镜头的位置进行编码；

将所述镜头类型、人物语义视觉相似度矩阵、地点语义视觉相似度矩阵以及每个镜头的位置编码，输入到时空注意力模型中，计算人物语义相关性系数和地点语义相关性系数；

根据人物语义相关性系数与所述人物预测向量之间的关系以及地点语义相关性系数与所述地点预测向量之间的关系，确定修正的人物预测检索得分和修正的地点预测检索得分，并选择最高预测检索得分，作为最终人物-地点关联检索结果。

一种可能的实施方式中，将视频划分为镜头集，通过镜头类型检测算检测镜头类型，所述镜头类型包括：镜头尺度和镜头运动，其中镜头尺度包括：近镜头、中镜头、远镜头，镜头运动包括：推镜头、拉镜头、静止镜头；