[发明专利]基于时域一致性约束的视频风格迁移方法

说明书

本发明公开了一种基于时域一致性约束的视频风格迁移方法，主要解决现有技术在视频风格迁移中出现的闪烁、前后不连贯的问题。其实现方案为：1)获取视频数据集、风格图像，并离线计算光流信息；2)构建基于时域一致性约束的视频风格转换网络；3)利用视频数据集、风格图像以及光流信息训练风格转换网络模型，更新其各层的权值和偏置；4)将测试视频输入到训练好的风格转换网络模型中，输出结果即为风格化视频。本发明通过训练风格转换网络模型拟合输入视频与风格化视频之间的非线性映射关系，并以这种关系为指导对真实视频进行不同风格的渲染，提高了风格化视频的时域一致性和视觉效果，可用于视频渲染、风格转换的视频处理场景。

技术领域

本发明属于视频图像处理技术领域，具体涉及一种视频风格迁移方法，可用于视频渲染、风格转换的视频处理场合。

背景技术

十九世纪以来，不仅艺术家在探索如何创造出更优吸引力的艺术作品，图像处理领域的相关人员也在思考这个问题。随着深度学习的发展，2015年Leon A.Gatys等人在“ANeural Algorithm of Artistic Style[J].Computer Science,2015.”中，提出用深度神经网络模型提取图像的风格特征并将其赋予另一幅图像的算法，该算法被称为“图像风格迁移算法”。艺术作品的风格特征具体包括纹理特征、色彩特征、笔触特征、对比度特征及明暗光线的变化，是一个更为抽象的概念。

近几年，关于图像及视频风格迁移的研究层出不穷。在过去，人们如果需要将一幅真实图像重画为具有艺术风格的合成图像，不仅需要一批训练有素的画家，还需要大量的时间和精力；如果要重画一段视频序列，所耗费的人力物力更是难以想象，因此，使用算法实现图像或视频的风格迁移具有重要的意义。

目前，针对视频风格迁移问题，研究者们已经提出一些优秀的算法。根据算法的基本原理，可以将这些算法分为基于迭代优化的描述性方法和基于深度学习的生成式方法。

基于迭代优化的描述性方法的基本思想是：首先建模并分别提取风格图像的风格信息和内容图像的内容信息，然后在目标图像中将两种信息结合，通过不断迭代优化生成的风格化图像，产生视觉效果良好的结果。目前此类方法最主要的局限性有两点，一是迭代优化过程中计算量十分巨大，非常耗时；二是随机初始化和损失函数的局部极小容易使输出的结果质量较差。

基于迭代优化的视频的风格迁移方法最大的问题在于效率低下，而基于深度学习的生成式方法正好解决了速度和计算量的问题，最初的基于深度学习的生成式神经方法由Justin Johnson等人在“Perceptual Losses for Real-Time Style Transfer andSuper-Resolution[J].2016.”提出，他们通过预训练指定风格的深度神经网络模型，在测试阶段只需前向传播一次就可以产生对应的风格化结果。Justin Johnson等人的风格迁移网络结构设计主要借鉴了Alec Radford等人在“Unsupervised Representation Learningwith Deep Convolutional Generative Adversarial Networks[J].Computer Science,2015.”论文中提出的残差模块和步长卷积。可是如果直接将图像风格迁移算法应用于视频风格迁移问题，前后两帧之间微弱的明亮变化、噪声以及运动，都会在风格转换的过程中产生巨大的差异，从而导致风格化视频的闪烁和不连续性。因此，Huang Haozhi等人在“Real-Time Neural Style Transfer for Videos[C]//IEEE Conference on Computer VisionPattern Recognition.2017.”中提出将时域损失函数加入基于卷积神经网络的风格迁移算法中，通过相邻两帧图像的运动矢量估计约束输出结果时域上的一致性。该方法虽说提高了视频的风格转换速度，但又由于没有考虑间隔更远的帧图像之间的时域相关性，导致风格化视频缺少长时一致性，使得风格化视频的连贯效果较差。

发明内容