[发明专利]基于位姿自监督对抗生成网络的弱配对图像风格迁移方法

说明书

本发明公开了一种基于位姿自监督对抗生成网络的弱配对图像风格迁移方法，属于图像处理领域。本发明适用于弱配对图像的风格迁移，其利用有一定重叠的不同风格图片进行对抗神经网络的模型训练，使其对位姿不敏感并专注于风格的学习，由此在实际应用过程中可以将源风格转换为目标风格但保持位姿不变。另外在上述对抗神经网络的模型训练过程中，本发明引入了一种能够对任意两张图像的相对位姿进行估计的可微分的位姿求解器，将相位相关算法优化为可微分，并将其嵌入到端到端学习网络框架中实现位姿估计。本发明能够实现弱配对数据的风格迁移，为机器人自定位技术提供支撑。

技术领域

本发明属于计算机视觉风格迁移领域，具体涉及一种通过位姿自监督对抗生成网络对图片进行风格迁移。

背景技术

图像风格迁移赋予了机器人对环境更高层次的理解，帮助机器人适应不同的场景。因此，在一个场景上训练或配置的任务，通过这种迁移学习可以很容易地在其他场景上进行。这种设置对多种机器人任务极有帮助，例如将在晴天训练的探测器转移到雨夜，以及地点重识别，和跨领域的语义分割。

目前，在图像风格迁移网络的的训练过程中，大多数工作集中在完全配对的图像风格迁移或完全未配对的图像风格迁移。在配对图像迁移中，来自两个风格的两个图像的内容是完全相同的。为了处理这个任务，Pix2Pix提出了一个基于生成对抗网络(GAN)的解决方案，并取得了良好的性能。然而，在大多数机器人应用中，获得完全配对的数据是不现实的。为了解决这个问题，CycleGAN 能够用未配对的图像训练风格转移模型，然而其缺点也是显而易见的，主要是以下两方面：(1)学习到的内容和风格之间的界限可能是模糊的，导致风格迁移的失败，因为这些无监督的方法忽略了监督方法所带来的准确性；(2)大量使用循环一致性导致训练的困难。

然而，介于完全配对和完全未配对的数据之间有一个中间的可利用领域，可以弥补上述的缺陷。在机器人任务中，通过各种类型的传感器，即使很难收集到完全配对的数据，但收集到有大量重叠的数据是可行的，本发明将其称为弱配对数据。由于机器人采集的数据一般是图像，因此对于机器人传感器采集数据，弱配对数据即弱配对图像。考虑到弱配对数据的定义，在弱配对数据上训练的风格迁移器可以有效提升不同域之间的机器人任务的完成度。

对于已配对的数据，两张具有不同风格的图片，有完美的对齐内容。对于未配对的数据，两张图片在数据中是不相关的。对于弱配对的数据，内容相似，但在位姿上错位。由于机器人携带多传感器来感知几何测量，不同风格的图像的粗略对齐是合理的，因此，我们认为这样的设定是值得处理的。

我们将弱配对图像风格迁移表述为利用原始图像I_o对目标图像I_t进行生成的过程。

I_t＝T(f(I_o),ξ)

其中f和T是风格迁移过程，以及图像的几何变换过程，ξ是两幅图像之间的相对位姿，它是T的参数。

弱配对数据风格迁移的目的是学习一个网络N_t，从数据集I_o,I_t中近似f，从而用N_t迁移原始图像。这个问题的挑战在于如何保持所学函数N_t只迁移风格，而不改变原始图像的位姿。简单地学习两个图像之间的网络N_t显然会导致风格、位姿和内容纠缠在一起。另一方面，将图像对视为未配对，并没有利用有界的ξ的信息，留下了很大的改进空间。抛开成对图像的完全监督方法，无监督方法很容易被弱配对图像之间复杂的相对位姿所迷惑，并错过了像素级对应所带来的优势。

发明内容

本发明的目的在于解决现有技术中风格迁移时无法迁移风格，而不改变原始图像位姿的问题，并提供一种基于位姿自监督对抗生成网络的弱配对图像风格迁移方法。