[发明专利]一种基于条件生成对抗网络的单目图像深度估计方法

说明书

本发明涉及一种基于条件生成对抗网络的单目图像深度估计方法，包括：(1)对数据集进行预处理；(2)构建生成式对抗网络中的生成器：利用编码器‑解码器结构，构建由卷积层‑反卷积层组合的生成器网络结构，并在此基础上构建跳跃连接结构，将编码器每层的输出特征图映射到对称解码器的输入中，通过通道维度连接起来，以增加解码器的细节信息；在输入层和输出层之间共享低层的信息，使得高层输出图像带有低级的细节特征，提升生成深度图像的质量；(3)构建生成式对抗网络中的判别器；(4)构建生成对抗网络的损失函数；(5)对构建完成的生成对抗网络进行训练和测试。

技术领域

本发明涉及单目图像深度估计技术领域，尤其涉及一种基于生成式对抗网络的深度估计方法。

背景技术

深度信息能够反映2D图像所不具有的几何信息，对于三维场景重建、手势识别、人体姿态估计等有着重要意义^[1]。当前深度信息的获取主要有以下两个途径：一是采用硬件设备如激光雷达、Kinect等直接获取距离信息；二是采用多视点、如双目图像的方法，利用视差来估计深度信息。由于深度传感器造价昂贵，多视点方法需要配置多个图像采集设备，因此从单幅单目图像估计自然场景的深度估计在场景理解，三维建模，机器人等领域有着极为重要的意义，是计算机视觉中的一个基本问题。利用单目图像进行深度估计是一个不适定问题，因为一副图像可能对应于无数现实世界的实际场景^[2]。对于人类来说，从单个图像推断潜在的三维结构并不困难，对于计算机视觉算法来说，由于没有具体可靠的特征如几何信息等可以直接利用，因此仍然是一个极具挑战的任务。

当前基于单目图像的深度估计研究主要分为三类：一是在带有几何限制的场景下进行深度估计的研究，此类方法直接将图像强度或颜色信息映射到深度值，在自然场景下不具有通用性；二是将其他信息加入到深度估计的输入特征中，如用户注释、语义标注，但是此类方法依赖于图像的人工标记，较为耗时；三是利用深度学习的方法，训练一个卷积神经网络 (Convolutional Neural Network，CNN)，使之直接学习单目图像和深度图之间的映射关系，从而能够从彩色平面图像直接拟合出深度图像，当下深度估计领域的最优方法大多都采用此类方法。

生成对抗网络(Generative Adversarial Networks，GAN)是深度学习算法中的一种新型的网络，通过由卷积神经网络构建的生成网络和判别网络进行对抗式的训练，利用二元零和博弈的原理完成生成模型的建模，被广泛地应用到图像转换、图像处理等领域。生成模型可以帮助生成相关数据，提高数据数量，从而利用半监督学习提升学习效率。而判别模型可以判断样本的真实度，通过不断迭代，使生成样本越来越接近真实样本。在通常的GAN中，输入生成器的是固定维度长度的噪声，而在条件生成对抗网络中，输入生成模型的的是噪声 p(z)与条件信息y组成的联合隐层表征，相当于对GAN的随机分布中加了一个潜在的约束范围。

参考文献：

[1]田虎.单目图像的深度估计[D].北京邮电大学,2015.

[2]D.Eigen,C.Puhrsch,and R.Fergus,“Depth map prediction from a singleimage using a multi-scale deep network,”in Proc.Adv.Neural Inf.Process.Syst.,2014.

发明内容

本发明要解决的问题在于，针对上述现有技术的缺陷，设计一种单目图像深度估计的方法，使之能够仅需要单幅单目图像即能够得到较高质量的深度图。本发明采用一种条件生成对抗网络的模型，完成对单幅单目图像的深度图的估计，在两种公开数据集上进行评估，在准确度和泛化性上均有较好的表现。

一种基于条件生成对抗网络的单目图像深度估计方法，包括步骤如下：