[发明专利]一种针对跨模态视频检索模型的训练方法及装置

说明书

本发明实施例提供了一种针对跨模态视频检索模型的训练方法及装置，通过获取用于表达视频序列的特征的多个视频序列特征向量；切分文本序列生成分词和分词序列；提取针对分词的多个文本序列特征向量，和，针对分词序列的文本标签特征向量；合并多个视频序列特征向量生成第一目标视觉特征向量；合并多个文本序列特征向量生成第一目标文本特征向量；将第一目标视觉特征向量和第一目标文本特征向量分别映射至隐藏向量空间和标签向量空间，并计算出隐含特征向量相似度和标签特征向量相似度；基于文本标签特征向量、隐含特征向量相似度、标签特征向量相似度确定检索结果，从而实现了中文或中英文文本搜索视频的跨模态检索功能。

技术领域

本发明涉及跨模态检索技术领域，特别是涉及一种针对跨模态视频检索模型的训练方法、一种针对跨模态视频检索模型的训练装置、一种电子设备即一种计算机可读介质。

背景技术

跨模态检索是对一种模态的查询词，返回与之相关的其他不同模态检索结果的新型检索方法，是跨媒体检索的新兴技术，随着移动设备的智能化、便携化以及在线视频平台的蓬勃发展，大量的互联网用户选择通过视频媒介进行信息的共享和传播。在这一趋势下，当前广泛使用的基于文本标题的视频检索方式存在人工标注成本高昂且效率低下，同时文本标题无法对视频中的语义内容全面涵盖等问题，难以有效满足日益增长的海量视频数据管理和分析需求。

视频文本跨模态检索旨在通过最小化同一视频的视频模态表征和文本模态表征之间的差异，确定不同模态下的表征在特征空间所具有相似性，从而达到跨模态检索的效果。具体而言，该检索范式允许查询输入和检索结果的候选对象为视频和文本其中一种模态数据，将视频和文本进行向量化表示后，计算跨模态向量相似度并排序实现对另一模态数据的检索。由于视频文本跨模态检索是在视频内容理解的基础上实现的语义内容检索，极大的解放了繁重的人工标注劳动，有效的提高了海量视频的智能处理能力，然而，现有针对视频的跨模态检索方式通常基于英文数据集进行训练，由于词表中包含中文词汇数量有限，且中英文分词方式存在差异，从而导致模型提取的文本特征向量区分度较低，进而导致跨模态检索准确率较低。

发明内容

本发明实施例的目的在于提供一种针对跨模态视频检索模型的训练方法、一种针对跨模态视频检索模型的训练装置、一种电子设备即一种计算机可读介质，以实现无法针对中文文本进行跨模态视频检索的问题。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种针对跨模态视频检索模型的训练方法，所述跨模态视频检索模型包括隐藏向量空间、标签向量空间，所述方法可以包括：

获取视频流中用于表达视频序列的特征的多个视频序列特征向量；所述视频序列具有对应的文本序列；

切分所述文本序列，生成分词和由所述分词组成的分词序列；

提取针对所述分词的多个文本序列特征向量，和，针对所述分词序列的文本标签特征向量；

合并所述多个视频序列特征向量，并生成第一目标视觉特征向量；

合并所述多个文本序列特征向量，并生成第一目标文本特征向量；

将所述第一目标视觉特征向量和所述第一目标文本特征向量映射至所述隐藏向量空间，并计算出针对于所述第一目标视觉特征向量和所述第一目标文本特征向量的隐含特征向量相似度；

将所述第一目标视觉特征向量和所述第一目标文本特征向量映射至所述标签向量空间，并计算出针对于所述第一目标视觉特征向量和所述第一目标文本特征向量的标签特征向量相似度；

基于所述文本标签特征向量、所述隐含特征向量相似度、所述标签特征向量相似度确定检索结果。

可选地，所述跨模态视频检索模型包括多个不同尺度的循环神经网络，所述合并所述多个视频序列特征向量，并生成第一目标视觉特征向量的步骤可以包括：