[发明专利]一种基于深度学习的视频风格变换与自动生成方法及系统

说明书

本发明提供一种基于深度学习的视频风格变换与自动生成方法，利用深度学习框架对拍摄主体进行分类以及风格模型训练；获取待处理视频和用户视频需求；识别待处理视频的类别，结合用户风格要求和时长要求，推荐最优分镜数和视频素材；根据用户选取的视频素材和视频素材顺序，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；之后，将用户调整修改信息，作为反馈信息优化风格模型，并分析用户喜好，优化深度学习框架，形成反馈学习模型。本发明还提供一种基于深度学习的视频风格变换与自动生成系统，根据用户对视频风格的需求自动推荐风格素材，并自动完成对视频片段的风格渲染和对整体视频的渲染，生成特定风格视频。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的视频风格变换与自动生成方法及系统。

背景技术

在与视频制作相关的领域中，基于人工智能的创新应用目前还处于空缺状态，同时也没有一套可满足视频设计需求的可行的解决方案。此外，对视频的处理多数是套用预设定好参数的模板形式，具有明显的缺陷：1、模板的数量有限，且模板的实现效果局限于已设定好的模板参数。2、模板的设定是基于长期对专业知识的积累，增加了视频制作的学习成本。3、对于具有不同影调与色调的视频素材的剪辑缺乏统一性的考量。4、模板形式的视频制作无法较好满足非专业群体对于专业化视频制作的需求。

发明内容

本发明要解决的技术问题之一，在于提供一种基于深度学习的视频风格变换与自动生成方法，基于用户对视频风格的需求进行相应的风格素材的自动推荐，并自动完成对视频片段的风格渲染以及对整体视频的渲染，实现特定风格视频的自动生成。

本发明要解决的技术问题之一是这样实现的：一种基于深度学习的视频风格变换与自动生成方法，包括如下步骤：

步骤1、利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；

步骤2、获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；

步骤3、通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；

步骤4、根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；

步骤5、在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和更新，形成反馈学习模型。

进一步的，所述视频素材按宫格形式展示给用户，且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。

进一步的，所述片段渲染包括片段风格渲染和字幕效果。

进一步的，所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。

进一步的，所述步骤1具体包括：

利用深度学习框架对视频短片训练样本进行深度学习，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，通过对视频拍摄主体进行类别分类，将分类结果与风格资源库进行匹配，生成对应主题或标签的关联模型，基于所述关联模型，将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联；根据不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，并与资源库里的素材进行映射，用于按照类别与风格进行视频素材推荐。