[发明专利]一种视频描述数据处理方法、装置及存储介质

说明书

本发明提供一种视频描述数据处理方法、装置及存储介质，方法包括：导入视频序列，并将所述视频序列分割为多个视频图片；通过预设的卷积神经网络对所有的所述视频图片进行特征分割分析，得到多个镜头数据集；通过所述预设的卷积神经网络对所有的所述镜头数据集进行合并分析，得到多个合并后的镜头数据集；通过所述预设的卷积神经网络对多个所述合并后的镜头数据集进行特征提取，得到视频描述特征序列；通过预设的视频描述模型将所述视频描述特征序列转换为视频描述信息。本发明能够不需要每个镜头数据都生成文字描述后结合生成最终描述，直接将自然语言的问题转化为图像问题，减少了生成描述的冗余度，提高了文字描述的流畅度。

技术领域

本发明主要涉及视频处理技术领域，具体涉及一种视频描述数据处理方法、装置及存储介质。

背景技术

目前视频描述主要有机器翻译准确指标，语句流畅度指标等，而如何解决视频的流畅度是一个棘手的难题。现有技术是根据视频镜头分割生成若干个镜头数据集，然后把每个镜头数据输入到卷积神经网络生成一系列特征，再将这些特征输入进视频描述模型生成语句。在这个处理过程中，会造成复杂的计算量，同时，若分别输入两个相似度较大的镜头时，每输入一个镜头进卷积神经网络就会生成很多相似的特征，在视频描述模型里面对每个特征都进行描述，使得模型的计算量变得很大，而且最终描述的语句显得很啰嗦，不流畅，与人工进行描述相差较大。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种视频描述数据处理方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：一种视频描述数据处理方法，包括如下步骤：

导入视频序列，并将所述视频序列分割为多个视频图片；

通过预设的卷积神经网络对所有的所述视频图片进行特征分割分析，得到多个镜头数据集；

通过所述预设的卷积神经网络对所有的所述镜头数据集进行合并分析，得到多个合并后的镜头数据集；

通过所述预设的卷积神经网络对多个所述合并后的镜头数据集进行特征提取，得到视频描述特征序列；

通过预设的视频描述模型将所述视频描述特征序列转换为视频描述信息。

本发明的有益效果是：通过预设的卷积神经网络对所有的所述视频图片进行特征分割分析，得到多个镜头数据集，通过所述预设的卷积神经网络对所有的所述镜头数据集进行合并分析，得到多个合并后的镜头数据集，通过所述预设的卷积神经网络对多个所述合并后的镜头数据集进行特征提取，得到视频描述特征序列，通过预设的视频描述模型将所述视频描述特征序列转换为视频描述信息，能够不需要每个镜头数据都生成文字描述后结合生成最终描述，直接将自然语言的问题转化为图像问题，减少了生成描述的冗余度，提高了文字描述的流畅度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述通过预设的卷积神经网络对所有的所述视频图片进行特征分割分析，得到多个镜头数据集的过程包括：

通过预设的卷积神经网络分别对各个所述视频图片进行特征提取，得到与所述视频图片对应的视频特征；

将两两相邻的所述视频特征划分为一组，并对每组的两个所述视频特征进行相似度计算，得到与所述视频特征对应的视频相似度；

当所述视频相似度小于或等于预设分割阈值时，则将所述视频相似度所对应的视频图片及其之前所有的视频图片作为镜头数据集，从而获得多个镜头数据集。

采用上述进一步方案的有益效果是：通过预设的卷积神经网络对所有的视频图片的特征分割分析得到多个镜头数据集，能够对相同的镜头进行聚类，为后续处理提供了数据基础，能够直接将自然语言的问题转化为图像问题，减少了生成描述的冗余度，提高了文字描述的流畅度。