[发明专利]视频片段检索方法、视频片段检索模型的训练方法及装置

说明书

本公开关于一种视频片段检索方法、视频片段检索模型的训练方法、装置、电子设备及存储介质，该方法包括：获取待查询视频的视频特征和检索文本的文本特征；将视频特征和文本特征输入预先训练的视频片段检索模型，得到待查询视频中与检索文本匹配的候选视频片段；其中，预先训练的视频片段检索模型，为根据样本视频、样本文本以及与样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，目标候选视频片段从候选样本视频片段库中获取，候选样本视频片段库中包括按照多种时长划分标准对样本视频进行划分得到的多组候选样本视频片段。采用本方法，有利于提高得到的目标视频片段的准确率。

技术领域

本公开涉及视频处理技术领域，尤其涉及一种视频片段检索方法、视频片段检索模型的训练方法、视频片段检索方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，视频数量呈爆炸式增长，尤其短视频和直播视频；为了从这些视频中快速检索得到感兴趣的目标视频片段，视频片段检索任务得到了广泛的研究关注。

相关技术中，目前的视频片段检索方法，一般是通过滑动窗口将视频划分为多种尺度的候选视频片段，并根据候选视频片段和查询文本对神经网络进行训练，以通过训练好的神经网络输出目标视频片段；但是，不同的目标视频片段的持续时间长度不一样，通过采用滑动窗口的机制，预先生成多尺度的候选视频片段，灵活性较低，难以覆盖尽可能多的潜在视频片段，导致通过神经网络检索得到的目标视频片段的准确率较低。

发明内容

本公开提供一种视频片段检索方法、视频片段检索模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中得到的目标视频片段的准确率较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频片段检索方法，包括：

获取待查询视频的视频特征和检索文本的文本特征；

将所述视频特征和所述文本特征输入预先训练的视频片段检索模型，得到所述待查询视频中与所述检索文本匹配的候选视频片段；

其中，所述预先训练的视频片段检索模型，为根据样本视频、样本文本以及与所述样本文本匹配的目标候选视频片段对待训练的视频片段检索模型进行训练得到的；其中，所述目标候选视频片段从候选样本视频片段库中获取，所述候选样本视频片段库中包括按照多种时长划分标准对所述样本视频进行划分得到的多组候选样本视频片段，其中，每组候选样本视频片段中包括采用一种时长划分标准对所述样本视频进行划分得到的多个候选样本视频片段；不同组候选样本视频片段之间采用的时长划分标准不同。

在一示例性实施例中，所述获取待查询视频的视频特征和检索文本的文本特征，包括：

获取待查询视频的视觉特征和所述检索文本的初始文本特征；

对所述视觉特征进行映射处理，得到所述待查询视频的视频特征，以及对所述初始文本特征进行映射处理，得到处理后的初始文本特征；

通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征；所述文本特征和所述视频特征对应的特征矩阵的结构相同，且在特征矩阵中的对应位置上存在语义关联。

在一示例性实施例中，所述通过注意力机制，对所述处理后的初始文本特征进行再次映射处理，得到所述检索文本的文本特征，包括：

通过注意力机制，获取所述视频特征中每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重；

根据每个视频帧的特征与所述处理后的初始文本特征中各单词的特征之间的注意力权重，对所述各单词的特征进行加权求和，得到针对于每个视频帧的文本特征；

将针对于每个视频帧的文本特征进行组合，得到所述检索文本的文本特征。