[发明专利]基于时域一致性约束的视频风格迁移方法

权利要求书

1.一种基于时域一致性约束的视频风格迁移方法，其特征在于，包括如下步骤：

(1)根据视频训练集V和风格图像a，离线计算光流信息：

(1a)获取视频训练集V和风格图像a，其中V中包含N组视频序列，每组视频序列Ιⁿ包括四幅图像，分别为一段视频的第1帧I₁，第4帧I₄，第6帧I₆和第7帧I₇，其中n＝{1,2,...,N}；

(1b)通过变分光流法计算不同帧图像之间的光流信息和光流置信度信息Cⁿ＝{c^(1,7),c^(4,7),c^(6,7)}，其中表示第i帧到第7帧的光流信息，c^(i,7)表示第i帧与第7帧之间的光流置信度矩阵，其中，i∈{1,4,6}；

(2)构建基于时域一致性约束的视频风格迁移网络：

(2a)设计风格转换网络，该网络包括依次连接的三个底层卷积层、五个残差模块、两个反卷积层和一个高层卷积层；将底层第一个卷积层的输出输入到第二个反卷积层中，将底层第二个卷积层的输出输入到第一个反卷积层中，形成两个跳跃连接；

(2b)设置训练参数，随机初始化风格转换网络的权值σ₀和偏置值β₀；

(3)训练基于时域一致性约束的视频风格转换网络模型：

(3a)每次从视频训练集V中选择一组视频Iⁿ，以及它对应的光流信息Wⁿ、光流置信度信息Cⁿ，作为训练样本，其中n＝{1,2,...,N}；

(3b)将训练样本输入到风格转换网络生成风格化结果Pⁿ，Pⁿ＝{P₁,P₄,P₆,P₇}；

(3c)计算风格化结果的总损失值L_T：

L_T＝λ_sL_s+λ_cL_c+λ_vL_v+λ_tL_t，

其中，L_s表示风格损失值、L_c表示内容损失值、L_v表示全变分损失值、L_t表示时域损失值，λ_s表示风格损失权重，λ_c表示内容损失权重，λ_v表示全变分损失权重，λ_t表示时域损失权重；

(3d)使用总损失值L_T训练风格转换网络模型，更新风格转换网络模型的权值σ和偏置值β；

(3e)循环进行(3a)-(3d)对风格转换网络模型进行迭代优化训练，直到取完视频训练集V中所有的视频序列组，得到训练好的风格转换网络模型；

(4)利用训练好的视频风格转换模型对测试视频进行风格迁移，即将一段测试视频输入到训练好的风格转换网络模型中，风格转换网络模型的输出即为具有时域一致性的风格化视频。

2.根据权利要求1所述的方法，其特征在于，(2a)中的风格转换网络，其结构参数如下：

第一底层卷积层的卷积核大小为9×9，卷积核数量为32，步长为1；

第二底层卷积层的卷积核大小为3×3，卷积核数量为64，步长为2；

第三底层卷积层的卷积核大小为3×3，卷积核数量为128，步长为2；

第一残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；

第二残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；

第三残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；

第四残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；

第五残差模块的卷积核大小为3×3，卷积核数量为128，步长为1；

第一反卷积层的卷积核大小为3×3，卷积核数量为64，步长为0.5；

第二反卷积层的卷积核大小为3×3，卷积核数量为32，步长为0.5；

最后一层高层卷积层的卷积核大小为9×9，卷积核数量3，步长为1。