[发明专利]基于时域一致性约束的视频风格迁移方法

摘要

本发明公开了一种基于时域一致性约束的视频风格迁移方法，主要解决现有技术在视频风格迁移中出现的闪烁、前后不连贯的问题。其实现方案为：1)获取视频数据集、风格图像，并离线计算光流信息；2)构建基于时域一致性约束的视频风格转换网络；3)利用视频数据集、风格图像以及光流信息训练风格转换网络模型，更新其各层的权值和偏置；4)将测试视频输入到训练好的风格转换网络模型中，输出结果即为风格化视频。本发明通过训练风格转换网络模型拟合输入视频与风格化视频之间的非线性映射关系，并以这种关系为指导对真实视频进行不同风格的渲染，提高了风格化视频的时域一致性和视觉效果，可用于视频渲染、风格转换的视频处理场景。

主权项

1.一种基于时域一致性约束的视频风格迁移方法，其特征在于，包括如下步骤：(1)根据视频训练集V和风格图像a，离线计算光流信息：(1a)获取视频训练集V和风格图像a，其中V中包含N组视频序列，每组视频序列Ιⁿ包括四幅图像，分别为一段视频的第1帧I₁，第4帧I₄，第6帧I₆和第7帧I₇，其中n＝{1,2,...,N}；(1b)通过变分光流法计算不同帧图像之间的光流信息和光流置信度信息Cⁿ＝{c^(1,7),c^(4,7),c^(6,7)}，其中表示第i帧到第7帧的光流信息，c^(i,7)表示第i帧与第7帧之间的光流置信度矩阵，其中，i∈{1,4,6}；(2)构建基于时域一致性约束的视频风格迁移网络：(2a)设计风格转换网络，该网络包括依次连接的三个底层卷积层、五个残差模块、两个反卷积层和一个高层卷积层；将底层第一个卷积层的输出输入到第二个反卷积层中，将底层第二个卷积层的输出输入到第一个反卷积层中，形成两个跳跃连接；(2b)设置训练参数，随机初始化风格转换网络的权值σ₀和偏置值β₀；(3)训练基于时域一致性约束的视频风格转换网络模型：(3a)每次从视频训练集V中选择一组视频Iⁿ，以及它对应的光流信息Wⁿ、光流置信度信息Cⁿ，作为训练样本，其中n＝{1,2,...,N}；(3b)将训练样本输入到风格转换网络生成风格化结果Pⁿ，Pⁿ＝{P₁,P₄,P₆,P₇}；(3c)计算风格化结果的总损失值L_T：L_T＝λ_sL_s+λ_cL_c+λ_vL_v+λ_tL_t，其中，L_s表示风格损失值、L_c表示内容损失值、L_v表示全变分损失值、L_t表示时域损失值，λ_s表示风格损失权重，λ_c表示内容损失权重，λ_v表示全变分损失权重，λ_t表示时域损失权重；(3d)使用总损失值L_T训练风格转换网络模型，更新风格转换网络模型的权值σ和偏置值β；(3e)循环进行(3a)‑(3d)对风格转换网络模型进行迭代优化训练，直到取完视频训练集V中所有的视频序列组，得到训练好的风格转换网络模型；(4)利用训练好的视频风格转换模型对测试视频进行风格迁移，即将一段测试视频输入到训练好的风格转换网络模型中，风格转换网络模型的输出即为具有时域一致性的风格化视频。