[发明专利]一种基于句子语义的视频描述方法、装置及存储介质

说明书

本发明涉及一种基于句子语义的视频描述方法、装置及存储介质，属于技术领域；方法包括步骤：将视觉特征和运动特征进行拼接融合，将目标视频特征对应的描述词袋转换为文本特征，根据视觉词、目标视频特征及其对应的文本特征构建损失函数模型，以及计算每个单词在句中出现的概率，根据概率得到句子级别损失函数，通过句子级别损失函数和损失函数模型进行损失迭代计算，得到最终的视频描述信息；本发明有助于提高预测长度的准确性，从而生成的视频描述信息更完整。

技术领域

本发明主要涉及计算机视觉技术领域，具体涉及一种基于句子语义的视频描述方法、装置及存储介质。

背景技术

近数十年以来伴随着互联网技术和信息传输技术的飞速发展，人们面临的媒体数据从最初的文字发展成为图像，再到现如今的视频。视频数据已经成为全世界范围内信息传播的重要载体，也是信息的重要存储形式之一。手机和面向用户的拍照设备的普遍出现，使得视频数据被快速生产、存储、上传，数量巨大且无组织，对庞大的视频数据进行有效的组织管理是使用视频所带来的巨大难题。

视频描述是视频理解的子任务，旨在通过对视频内容的理解，并以自然语言的形式描述出来。然而对机器来说，视频描述是一项非常困难的任务，机器需要理解视频内容，才能用自然语言去描述它。视频的描述文本涉及到许多背景知识的理解以及视频中的物体、人物、动作、场景、人与物关系等内容的检测，且需要根据对视频内容的理解生成语法正确、描述准确的自然语言文本。因此，视频描述不仅在技术发展方面有重要的研究意义，而且对人们生活各方面的帮助有重要的现实意义。虽然目前为止，该课题的研究在真实世界的性能还比较差，开放领域的视频语义解析还面临着极大的挑战，但是在特定的现实场景或者特殊的应用中，已经发挥了一定的重要作用。视频内容的自然语言描述问题，还需要不断探索和发展，以寻求更大的突破。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于句子语义的视频描述方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：一种基于句子语义的视频描述方法，包括如下步骤：

导入数据集，所述数据集包括多个视频及描述对以及与各个所述视频及描述对对应的描述词袋；

将各个所述视频及描述对中的视频分别进行视觉特征和运动特征提取，将每个所述视频对应的视觉特征和运动特征进行拼接融合，得到目标视频特征，并通过词嵌入方式将目标视频特征对应的描述词袋转换为文本特征；

对所述目标视频特征进行句子长度的预测，并结合预设的标签对预测的句子长度信息进行损失计算，得到含有标签的句子长度信息；

将所述含有标签的句子长度信息解码生成视觉词，并根据所述视觉词、所述目标视频特征及其对应的文本特征构建损失函数模型；

通过所述视觉词计算所述文本特征中每个单词在句中出现的概率；

根据所述概率得到句子级别损失函数，通过所述句子级别损失函数和所述损失函数模型进行损失迭代计算，得到最终的视频描述信息。

本发明的有益效果是：将视觉特征和运动特征进行拼接融合，将目标视频特征对应的描述词袋转换为文本特征，根据视觉词、所述目标视频特征及其对应的文本特征构建损失函数模型，以及计算每个单词在句中出现的概率，根据概率得到句子级别损失函数，通过句子级别损失函数和损失函数模型进行损失迭代计算，得到最终的视频描述信息，有助于提高预测长度的准确性，从而生成的视频描述信息更完整。

本发明解决上述技术问题的另一技术方案如下：一种基于句子语义的视频描述装置，包括：

数据导入模块，用于导入数据集，所述数据集包括多个视频及描述对以及与各个所述视频及描述对对应的描述词袋；