[发明专利]一种基于神经网络模型的短视频片段自动生成方法及系统

说明书

本发明涉及视频处理技术领域，具体公开了一种基于神经网络模型的短视频片段自动生成方法及系统，其中方法包括如下步骤：过滤冗余或残缺的镜头并按时间对过滤后的镜头排序；将排序后的镜头输入预训练的第二神经网络模型，从第二神经网络模型获得场景边界的输出结果，根据场景边界划分场景；使用二分法递归地拆分时长大于第一阈值的场景，并判断时长小于第二阈值的场景是否相邻且相似，若相邻且相似，进行合并；统计场景中每个镜头在特征空间中的密度，根据密度计算场景分值；根据场景分值对场景进行倒序排列并返回对应的场景起止时间；根据场景的起止时间以及设置的时长截出视频片段。采用本发明的技术方案能够保留视频中的精彩场景。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于神经网络模型的短视频片段自动生成方法及系统。

背景技术

自上世纪以来，人类积攒了海量高质量影视资源，涵盖了电影、综艺节目、电视剧等影视类型。随着影视技术和设备的发展，已有大量视频的时长接近甚至超过一小时。近年来，随着生活节奏的加快，用户更喜欢把时间花在更紧凑的短视频上，短视频分享平台也越来越受欢迎。互联网上大批创作者也开始使用短视频为电影、电视剧等时长较长的影视资源引流。

短视频虽然短小，但内容完整，且包含大量精彩内容，因而短视频的制作需要耗费大量精力。现阶段的将影视资源制作成短视频主要采用人工剪辑的方式，然而影视资源时长可能达数小时，并且其中包含了大量平凡无趣的镜头或场景，这无疑占用了创作者的大量时间用于筛选片段。随着人工智能技术的发展，计算机理解并自动编辑视频成为了可能，这便催生了短视频自动生成的需求，但是如何去掉大量平凡无趣的镜头或场景，只保留精彩的，对大部分用户具有吸引力镜头或场景成了需要解决的问题。

为此，需要一种能够保留视频中精彩场景的基于神经网络模型的短视频片段自动生成方法及系统。

发明内容

本发明的目的之一在于提供一种基于神经网络模型的短视频片段自动生成方法，能够保留视频中的精彩场景。

为了解决上述技术问题，本申请提供如下技术方案：

一种基于神经网络模型的短视频片段自动生成方法，包括如下步骤：

S1、将待处理视频分成若干个片段，对每个片段进行解码；

S2、根据解码后片段的每帧在HSV色彩空间中的距离切分镜头，对每个镜头做下采样保留预设帧数；

S3、使用预训练的第一神经网络模型提取帧级特征，并平均池化为镜头级特征；

S4、过滤冗余或残缺的镜头并按时间对过滤后的镜头排序；

S5、将排序后的镜头输入预训练的第二神经网络模型，从第二神经网络模型获得场景边界的输出结果，根据场景边界划分场景；

S6、使用二分法递归地拆分时长大于第一阈值的场景，并判断时长小于第二阈值的场景是否相邻且相似，若相邻且相似，进行合并；

S7、统计场景中每个镜头在特征空间中的密度，根据密度计算场景分值；

S8、根据场景分值对场景进行倒序排列并返回对应的场景起止时间；根据场景的起止时间以及设置的时长截出视频片段。

基础方案原理及有益效果如下：