[发明专利]一种基于深度学习的视频时刻检索方法与系统

权利要求书

1.一种基于深度学习的视频时刻检索方法，其特征在于，所述方法包括：

从Charades-STA数据集筛选并输入视频片段和查询文本；

利用预训练好的3D卷积神经网络C3D提取所述视频片段的视频特征，形成视频片段向量，利用预训练好的全局词向量表示GloVe提取所述查询文本的文本特征，形成查询词向量；

利用双向长短时记忆网络Bi-LSTM将所述查询词向量扩展为短语级特征，获取所述视频片段向量的概念级特征，接着利用多头注意力机制得到所述查询词向量扩展的句子级特征以及视频的全局特征；

利用Transformer对所述查询词向量扩展的短语级特征以及所述视频片段向量的概念级特征进行对齐，形成视频-文本局部语义表示，对所述查询词向量扩展的句子级特征以及所述视频的全局特征进行对齐，形成视频-文本全局语义表示；

用所述视频-文本局部语义表示来修正所述视频-文本全局语义表示；

将所述修正后的视频-文本全局语义注入包括一个生成软注意力的多层感知机MLP和一个回归的多层感知机MLP的软注意力时序定位回归网络，回归目标视频片段的精确位置。

2.如权利要求1所述的基于深度学习的视频时刻检索方法，其特征在于，所述从Charades-STA数据集筛选并输入视频片段和查询文本，具体为：

所述Charades-STA数据集分为训练集和数据集，视频片段均从一整部视频中分割出来，其中训练集和测试集中的片段均来自不同视频，即训练集和测试集不会包含同一部视频，片段都有对应描述的文本，将片段-文本对剥离开来。

3.如权利要求1所述的基于深度学习的视频时刻检索方法，其特征在于，所述利用预训练好的C3D网络提取所述视频片段的视频特征，形成视频片段向量，利用预训练好的GloVe提取所述查询文本的文本特征，形成查询词向量，具体为：

所述C3D网络利用3维卷积核对视频进行处理，可以提取基础的视频特征，共有8次卷积操作，4次池化操作，其中卷积核的大小均为3*3*3，步长为1*1*1，池化核的大小为2*2*2，步长为2*2*2，得到向量维度为4096；

所述GloVe是一个典型的基于统计的获取词向量的方法，具体地，用一个词语周边其他词语出现的次数来表示每一个词语，此时每个词向量的维度等于词库容量，每一维存储着词库对应序号的词语出现在当前词语周围的次数，得到向量维度为4800。

4.如权利要求1所述的基于深度学习的视频时刻检索方法，其特征在于，所述利用Bi-LSTM将所述查询词向量扩展为短语级特征，获取所述视频片段向量的概念级特征，接着利用多头注意力机制得到所述查询词向量扩展的句子级特征以及视频的全局特征，具体为：

所述提取的视频片段向量和词向量的维度是不一样的，通过一层全连接将所述得到的两组向量维度化为一致，最终得到的都是1024维向量；

将所述维度化为一致的两组向量分别输入Bi-LSTM中，Bi-LSTM由2组LSTM组成，而LSTM有多层神经网络构成，隐藏层增加了3个门结构即遗忘门、输入门和输出门，将两组LSTM的向量首尾对调分别拼接在一起后，使特征同时拥有过去和未来的信息，得到查询词向量扩展的短语级特征以及视频片段向量的概念级特征；

注意力机制是对Q、K计算得到注意力权重，然后作用于V得到整个权重和输出，多头注意力机制是将多组注意力的结果拼接起来进行一次线性变换得到的结果，分别把Q、K、V都设成所述经Bi-LSTM处理得到的视频片段向量的概念级特征得到视频的全局特征，并把Q、K、V都设成所述经Bi-LSTM处理得到的查询词向量扩展的短语级特征来得到查询词向量扩展的句子级特征。