[发明专利]一种视频描述生成方法、装置以及存储介质

权利要求书

1.一种视频描述生成方法，其特征在于，包括如下步骤：

S1：导入待训练视频，并构建训练模型，所述训练模型包括编码器、语义检测器和解码器；

S2：通过所述编码器对所述待训练视频进行特征分析，得到待处理特征和视觉特征；

S3：通过所述语义检测器对所述待处理特征进行语义分析，得到语义属性；

S4：通过所述解码器对所述视觉特征进行解码，得到预测标签向量；

S5：对所述语义属性和所述预测标签向量进行损失分析，得到视频描述生成模型；

S6：导入待描述视频，通过所述视频描述生成模型对所述待描述视频进行视频描述，生成视频描述结果。

2.根据权利要求1所述的视频描述生成方法，其特征在于，所述编码器包括2D-CNN卷积神经网络和3D-CNN卷积神经网络，所述步骤S2的过程包括：

通过所述2D-CNN卷积神经网络对所述待训练视频进行全局特征提取，得到全局特征；

通过所述3D-CNN卷积神经网络对所述待训练视频进行运动特征提取，得到运动特征，并将所述全局特征和所述运动特征一并作为待处理特征；

对所述全局特征和所述运动特征进行拼接，得到视觉特征。

3.根据权利要求2所述的视频描述生成方法，其特征在于，所述步骤S3的过程包括：

对所述全局特征进行全局特征的语义分析，得到多个全局特征语义属性；

对所述运动特征进行运动特征的语义分析，得到多个运动特征语义属性；

将所有的所述全局特征语义属性和所有的所述运动特征语义属性作为语义属性。

4.根据权利要求3所述的视频描述生成方法，其特征在于，所述全局特征包括多个全局特征向量，所述对所述全局特征进行全局特征的语义分析，得到多个全局特征语义属性的过程包括：

分别计算各个所述全局特征向量与预设特征库中各个词向量的全局特征相似度，得到与各个所述全局特征向量对应的多个全局特征相似度；

按照全局特征相似度大小分别对与各个所述全局特征向量对应的多个全局特征相似度进行排序，得到与各个所述全局特征向量对应的多个排序后全局特征相似度；

利用Spacy Tagging Tool工具分别对各个所述排序后全局特征相似度进行全局特征的筛选，筛选后得到与各个所述全局特征向量对应的多个筛选后全局特征相似度；

将各个所述全局特征向量对应的前K个所述筛选后全局特征相似度所对应的词向量作为全局特征语义属性。

5.根据权利要求4所述的视频描述生成方法，其特征在于，所述运动特征包括多个运动特征向量，所述对所述运动特征进行运动特征的语义分析，得到多个运动特征语义属性的过程包括：

分别计算各个所述运动特征向量与所述预设特征库中各个所词向量的运动特征相似度，得到与各个所述运动特征向量对应的多个运动特征相似度；

按照运动特征相似度大小分别对与各个所述运动特征向量对应的多个运动特征相似度进行排序，得到与各个所述运动特征向量对应的多个排序后运动特征相似度；

利用所述Spacy Tagging Tool工具分别对各个所述排序后运动特征相似度进行运动特征的筛选，筛选后得到与各个所述运动特征向量对应的多个筛选后运动特征相似度；

将各个所述运动特征向量对应的前K个所述筛选后运动特征相似度所对应的词向量作为运动特征语义属性。

6.根据权利要求1所述的视频描述生成方法，其特征在于，所述步骤S4的过程包括：

基于LSTM长短期记忆网络对所述视觉特征进行解码，得到预测标签向量。

7.根据权利要求1所述的视频描述生成方法，其特征在于，所述步骤S5的过程包括：

利用交叉熵损失算法计算所述语义属性和所述预测标签向量的损失值，得到损失值；

根据所述损失值对所述解码器进行参数更新，并返回步骤S2，直至达到预设迭代次数，将更新后的训练模型作为视频描述生成模型。