[发明专利]一种基于视频图像优化的风格转换方法

权利要求书

1.一种基于视频图像优化的风格转换方法，其特征在于，主要包括静止图像中的风格转移(一)；基于优化的连贯视频风格转移(二)；训练(三)。

2.基于权利要求书1所述的静止图像中的风格转移(一)，其特征在于，目标是生成以图像a的风格显示图像p的内容的风格化图像x；φ^l(·)表示由卷积网络的部分由输入到l层的函数；用P^l＝φ^l(p)、S^l＝φ^l(a)和F^l＝φ^l(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图；用N_l×M_l表示这些特征图的维数，其中N_l是层中的过滤器(通道)的数量，M_l是特征图的空间维度，即其宽度和高度的乘积；其包括内容损失和风格损失。

3.基于权利要求书2所述的内容损失和风格损失，其特征在于，内容损失表示为是和之间的均方误差，这种损失不仅限于一层；令表示用于内容表示的层的集合，则有：

风格损失也是均方误差，但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间；这些计算为和如上所述，令表示风格的层次，风格损失由下式给出：

总的来说，损失函数由下式给出：

加权因子α和β可以调整两个组成部分的相对重要性。

4.基于权利要求书2所述的风格化图像，其特征在于，通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像；通常使用随机高斯噪声进行初始化；然而，损失函数是非凸的，因此优化倾向于落入局部最小值；

直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数；这样的函数可以用具有参数w的卷积神经网络来表示；训练网络，从而最小化任意图像的预期损失p：

在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递；由于该函数不将网络的输出与标定好的真实数据进行比较，而是作为感知质量度量，这被称为感知损失函数。

5.基于权利要求书1所述的基于优化的连贯视频风格转移(二)，其特征在于，视频风格转移方法作为能量最小化问题，包括两个扩展，可以改善相机运动期间的长期一致性和图像质量；f⁽ⁱ⁾表示原始视频的第i帧，a是风格图像，x⁽ⁱ⁾是要生成的程式化帧；此外，用x’⁽ⁱ⁾表示帧i处的风格优化算法的初始化；x_j表示向量x的第j个分量；连贯视频风格转移包括通过初始化短期一致性、时间一致性损失、长期一致性、多通道算法。

6.基于权利要求书5所述的通过初始化短期一致性，其特征在于，具有高斯噪声的独立初始化产生两个连续的帧；提高时间一致性的最基本方法是使用已经风格化的帧i初始化帧i+1的优化；然后在两个框架之间无变化的区域以所需的外观进行初始化，图像的其余部分必须通过优化过程进行重建；

因为初始化不匹配，所以这种简单的方法不足以移动场景的部分；因此考虑光流，并且利用光流量扭曲的程式化帧来初始化i+1的优化：其中，表示使用在图像f⁽ⁱ⁾和f⁽ⁱ⁺¹⁾之间估计的光流场来扭曲给定图像的函数；只有风格化视频的第一帧被随机初始化。