[发明专利]一种基于音频特征的短视频预告片自动生成方法及系统

说明书

本发明涉及视频处理技术领域，具体公开了一种基于音频特征的短视频预告片自动生成方法及系统，其中方法包括如下步骤：解码步骤：将原视频拆分为多个片段，并进行解码；切分步骤：解码后根据每帧在HSV色彩空间中的距离切分镜头，并计算每帧的HLS特征；特征提取步骤：使用目标检测器每隔预设时间提取一次目标特征；音频特征提取步骤：提取短期音频特征和中期音频特征；得分预测步骤：统计每个镜头的最终精彩程度预测得分；输出步骤：选出得分最高的若干个镜头，按时间排序镜头，合并相邻镜头，返回起止时间；根据镜头的起止时间以及设置的时长自动截取并拼接成对应的短视频预告片。采用本发明的技术方案能够保留视频中精彩镜头。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于音频特征的短视频预告片自动生成方法及系统。

背景技术

自上世纪以来，人类积攒了海量高质量影视资源，涵盖了电影、综艺节目、电视剧等影视类型。随着影视技术和设备的发展，已有大量视频的时长接近甚至超过一小时。近年来，随着生活节奏的加快，用户更喜欢把时间花在更紧凑的短视频上，短视频分享平台也越来越受欢迎。互联网上大批创作者也开始使用短视频为电影、电视剧等时长较长的影视资源引流。

短视频虽然短小，但内容完整，且包含大量精彩内容，因而短视频的制作需要耗费大量精力。现阶段的将影视资源制作成短视频主要采用人工剪辑的方式，然而影视资源时长可能达数小时，并且其中包含了大量平凡无趣的镜头，这无疑占用了创作者的大量时间用于筛选片段。随着人工智能技术的发展，计算机理解并自动编辑视频成为了可能，这便催生了短视频自动生成的需求，但是如何去掉大量平凡无趣的镜头，只保留精彩的，对大部分用户具有吸引力镜头成了需要解决的问题。

为此，需要一种能够保留视频中精彩镜头的基于音频特征的短视频预告片自动生成方法及系统。

发明内容

本发明提供了一种基于音频特征的短视频预告片自动生成方法，能够保留视频中精彩镜头。

为了解决上述技术问题，本申请提供如下技术方案：

一种基于音频特征的短视频预告片自动生成方法，包括如下步骤：

解码步骤：将原视频拆分为多个片段，并进行解码；

切分步骤：解码后根据每帧在HSV色彩空间中的距离切分镜头，并计算每帧的HLS特征；

特征提取步骤：使用目标检测器每隔预设时间提取一次目标特征；

音频特征提取步骤：提取短期音频特征和中期音频特征；

得分预测步骤：对短期音频特征求密度得到短期音频的精彩程度预测得分；根据HLS特征和目标特征进行投票得到视频的精彩程度得分；根据中期音频特征进行投票得到中期音频的精彩程度预测得分；统计每个镜头的三类得分作为镜头的最终精彩程度预测得分；

输出步骤：选出得分最高的若干个镜头，按时间排序镜头，合并相邻镜头，返回起止时间；根据镜头的起止时间以及设置的时长自动截取并拼接成对应的短视频预告片。

基础方案原理及有益效果如下：

本方案中，将原视频拆分为多个片段，进行解码，可以降低处理器的压力。由于镜头与镜头之间的帧在HSV色彩空间中的距离存在差异，由此可以进行不同镜头的切分。再获取目标特征、短期音频特征和中期音频特征，预测其精彩程度的得分，得到每个镜头精彩程度预测得分。最后，按照精彩程度由高到低的顺序，就可以自动截取并拼接成对应的短视频预告片。

综上，本方案以原视频中音频特征为基础，识别其中的精彩程度得分，再保留精彩程度得分高的镜头，也就能够保留视频中的精彩镜头，从而输出简短、有吸引力的短视频预告片，还能节省制作预告片的时间成本，直接将精彩镜头拼凑成短视频预告片，也能在一定程度上起到引流的作用。