[发明专利]一种基于深度学习的照片音乐视频编排系统

说明书

本发明公开一种基于深度学习的照片音乐视频编排系统，包括以下步骤：S1、输入照片组,输入视频组,其数量均为任意,另外需要音乐；S2、基于音乐节奏等信息将音乐基于节奏等信息,切分为不同长度段落；S3、针对视频组中每个视频以人工或自动化方式提取其关键帧；S4、使用卷积神经网络或其他深度/非深度机器学习算法,提取照片组P的深度特征,同时计算视频组中视频的关键帧；S5、选定任意照片作为起始照片,使用循环神经网络或其他深度/非深度机器学习算法,计算出照片,视频在音乐段落中的排列。本发明自动对音乐进行切点、分析照片和视频的关键内容、将上述照片视频基于音乐切点进行融合，以达到快速智能地制作音乐照片视频的目的。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于深度学习的照片音乐视频编排系统。

背景技术

在机器学习应用日趋成熟的时代，视频制作依然是一个相对比较复杂的流程，对相关人员要求一定的编排和相关资源收集和整理的能力，尤其是试图将照片融入视频中，其对照片的重新构图，动画，特效等，将会大大升高制作的复杂度，现有的视频/照片视频的制作软件通常仅能用视频本身进行加工，或将照片以幻灯片方式播放，前者受限于视频素材较少，后者受限于表现力。

发明内容

本发明旨在提供一种基于深度学习的照片音乐视频编排系统，能够快速智能地制作音乐照片视频。

为达到上述目的，本发明是采用以下技术方案实现的：

本发明公开一种基于深度学习的照片音乐视频编排系统，S1、数据准备，包括：

照片组P＝{p₀，p₁…p_n}，视频组S＝{s₀，s₁…s_m}，音乐；

S2、将音乐切分为音乐段落Q＝{q₀，q₁…q_k}；

S3、使用深度神经网络对照片组进行提取P′＝cnn_deep_feature(P)；

S4、使用深度神经网络对视频组进行提取S′＝cnn_deep_feature(S)；

S5、随机选择一张照片置于任意音乐段落，作为起始照片

S6、将音乐段落的素材分配集合设为设的在的段落位置为

S7、从段落位置开始计算中剩余所有的位置，其中剩余位置记为q，q∈{0…k}且计算应该放入剩余位置的最佳照片或最佳视频；

S8、当中所有位置均确定分配的素材后，即为最终结果。

优选的，步骤S2中，音乐的切分基于音乐节奏，使用人工或自动化工具。

优选的，使用以下函数确认最佳照片，

其中q为具体某个段落，p为照片集合中任意没有在中出现的照片。

优选的，使用以下函数确认最佳视频，

其中q为具体某个段落，p为照片集合中任意没有在中出现的照片，s为视频集合中任意没有在中出现的视频。

优选的，将最佳照片或最佳视频确认为最佳素材，f(p，s)＝max(p，s)。

本发明的有益效果：

采用人工或自动化工具对音乐进行切点，使用深度神经网络分析照片和视频的关键内容，并使用循环神经网络将上述照片视频基于音乐切点进行融合，以达到快速智能地制作音乐照片视频的目的。

附图说明

图1为本发明的流程图。