[发明专利]视频描述生成方法、装置、设备及存储介质

说明书

本申请公开了一种视频描述生成方法、装置、设备及存储介质。该方法包括：通过视频描述生成模型的编码器对目标视频进行编码，得到目标视频的目标视觉特征；通过视频描述生成模型的基础解码器对目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，基础解码器用于采用注意力机制解码出与目标视觉特征匹配的候选词汇；通过视频描述生成模型的辅助解码器对目标视觉特征进行解码，得到各个候选词汇对应的第二选取概率，辅助解码器的记忆结构中包括各个候选词汇对应的参考视觉上下文信息，参考视觉上下文信息根据候选词汇对应的相关视频生成；根据第一选取概率和第二选取概率确定候选词汇中的解码词；根据若干个解码词生成视频描述。

技术领域

本申请实施例涉及视频描述领域，特别涉及一种视频描述生成方法、装置、设备及存储介质。

背景技术

视频描述(Video Captioning)是一种为视频生成内容描述信息的技术。在人工智能领域，通常采用视频描述生成模型自动为视频生成视频描述，而视频描述生成模型大多基于编码-解码(Encoder-Decoder)框架。

应用视频描述生成模型过程中，视频描述生成模型首先通过编码器提取视频中的视觉特征，然后将提取到的视觉特征输入解码器，由解码器根据视觉特征依次生成解码词，并最终将生成的各个解码词组合成视频描述。

相关技术中的视频描述生成模型仅关注当前处理的视频，而在实际应用中，同一解码词可能会用于语义相似当并不完全相同的多个视频中，导致视频描述生成模型的关注角度过于局限，进而影响生成的视频描述的质量。

发明内容

本申请实施例提供了一种视频描述生成方法、装置、设备及存储介质，可以解决相关技术中视频描述生成模型生成的视频描述的质量不佳的问题。所述技术方案如下：

一方面，提供了一种视频描述生成方法，所述方法包括：

通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；

通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；

通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；

根据所述第一选取概率和所述第二选取概率确定所述候选词汇中的解码词；

根据若干个所述解码词生成所述目标视频对应的视频描述。

另一方面，提供了一种视频描述生成装置，所述装置包括：

编码模块，用于通过视频描述生成模型的编码器对目标视频进行编码，得到所述目标视频的目标视觉特征；

第一解码模块，用于通过所述视频描述生成模型的基础解码器对所述目标视觉特征进行解码，得到各个候选词汇对应的第一选取概率，所述基础解码器用于采用注意力机制解码出与所述目标视觉特征匹配的所述候选词汇；

第二解码模块，用于通过所述视频描述生成模型的辅助解码器对所述目标视觉特征进行解码，得到各个所述候选词汇对应的第二选取概率，所述辅助解码器的记忆结构中包括各个所述候选词汇对应的参考视觉上下文信息，所述参考视觉上下文信息根据所述候选词汇对应的相关视频生成；

第一确定模块，用于根据所述第一选取概率和所述第二选取概率确定所述候选词汇中的解码词；

第一生成模块，用于根据若干个所述解码词生成所述目标视频对应的视频描述。