[发明专利]一种基于视频图像优化的风格转换方法

说明书

技术领域

本发明涉及图像视频风格转化领域，尤其是涉及了一种基于视频图像优化的风格转换方法。

背景技术

视频图像处理是计算机视觉领域研究的热点课题之一，今年来新兴起的一种基于深度学习的技术——视频图像风格转换越来越受到人们的关注。它以计算机为工具，用算法模拟出不同艺术形式的绘制风格，增强视频图像中可视信息的表现形式，这种将计算机技术与艺术美学有效结合的技术越来越受到用户的喜爱。它的应用十分广泛，如为艺术家提供灵感或创意上的帮助、移动设备上各种艺术风格的图像编辑、电影、游戏、动漫等娱乐产业中视频画面的风格化以及科学和医学插图领域、工程领域等。它还能通过模拟不同环境来提前预知环境的相关情况，为海上交通管理、捕鱼等海上作业提供便利。然而，传统的转化技术计算速度非常慢，导致运行时间很长，而且容易受到视频闪烁、不连续性的影响，甚至在风格转化后使图像边界产生伪影。

本发明提出了一种基于视频图像优化的风格转换方法，使用随机高斯噪声进行初始化，定义内容损失函数和风格损失函数，解决视频风格转移方法的能量最小化问题，改善相机运动期间的长期一致性和图像质量，使用具有参数的网络作为输入帧，遮挡掩码扭曲和掩蔽先前产生的帧并产生输出，递归地应用此函数来获取视频。本发明实现了风格化视频的短期时间一致性、长期一致性的损失函数和多通道方式，即使在快速运动和强烈遮挡的情况下，也能产生稳定的结果；大大减少了运行时间，提高了图像的质量。

发明内容

针对运行时间很长等问题，本发明的目的在于提供一种基于视频图像优化的风格转换方法，使用随机高斯噪声进行初始化，定义内容损失函数和风格损失函数，解决视频风格转移方法的能量最小化问题，改善相机运动期间的长期一致性和图像质量，使用具有参数的网络作为输入帧，遮挡掩码扭曲和掩蔽先前产生的帧并产生输出，递归地应用此函数来获取视频。

为解决上述问题，本发明提供一种基于视频图像优化的风格转换方法，其主要内容包括：

(一)静止图像中的风格转移；

(二)基于优化的连贯视频风格转移；

(三)训练。

其中，所述的静止图像中的风格转移，目标是生成以图像a的风格显示图像p的内容的风格化图像x；φ^l(·)表示由卷积网络的部分由输入到l层的函数；用P^l＝φ^l(p)、S^l＝φ^l(a)和F^l＝φ^l(x)分别表示网络从原始图像p、风格图像a和风格化图像x提取的特征图；用N_l×M_l表示这些特征图的维数，其中N_l是层中的过滤器(通道)的数量，M_l是特征图的空间维度，即其宽度和高度的乘积；其包括内容损失和风格损失。

进一步地，所述的内容损失和风格损失，内容损失表示为是和之间的均方误差，这种损失不仅限于一层；令表示用于内容表示的层的集合，则有：

风格损失也是均方误差，但它是在风格图像a的格拉姆矩阵和风格化图像x的表示的滤波器响应的相关性之间；这些计算为和如上所述，令表示风格的层次，风格损失由下式给出：

总的来说，损失函数由下式给出：

加权因子α和β可以调整两个组成部分的相对重要性。

进一步地，所述的风格化图像，通过使用基于梯度的优化将相对于x的能量最小化来计算风格化图像；通常使用随机高斯噪声进行初始化；然而，损失函数是非凸的，因此优化倾向于落入局部最小值；

直接从一个输入图像到其程式化的对应关系中学习一种特定风格映射的风格传递函数；这样的函数可以用具有参数w的卷积神经网络来表示；训练网络，从而最小化任意图像的预期损失p：

在训练阶段的每次迭代中直接评估并使用该功能的损失和梯度来执行向后传递；由于该函数不将网络的输出与标定好的真实数据进行比较，而是作为感知质量度量，这被称为感知损失函数。