[发明专利]一种基于条件生成对抗网络的单目图像深度估计方法

摘要

本发明涉及一种基于条件生成对抗网络的单目图像深度估计方法，包括：(1)对数据集进行预处理；(2)构建生成式对抗网络中的生成器：利用编码器‑解码器结构，构建由卷积层‑反卷积层组合的生成器网络结构，并在此基础上构建跳跃连接结构，将编码器每层的输出特征图映射到对称解码器的输入中，通过通道维度连接起来，以增加解码器的细节信息；在输入层和输出层之间共享低层的信息，使得高层输出图像带有低级的细节特征，提升生成深度图像的质量；(3)构建生成式对抗网络中的判别器；(4)构建生成对抗网络的损失函数；(5)对构建完成的生成对抗网络进行训练和测试。

主权项

1.一种基于条件生成对抗网络的单目图像深度估计方法，包括步骤如下：(1)对数据集进行预处理：将数据集中保存的深度信息的矩阵统一转化为深度图像格式，用于网络的训练、生成深度图的可视化及估计结果的评估，并且将彩色图像与对应的深度图像组成图像对，用于网络的训练；(2)构建生成式对抗网络中的生成器：利用编码器‑解码器结构，构建由卷积层‑反卷积层组合的生成器网络结构，并在此基础上构建跳跃连接结构，将编码器每层的输出特征图映射到对称解码器的输入中，通过通道维度连接起来，以增加解码器的细节信息；在输入层和输出层之间共享低层的信息，使得高层输出图像带有低级的细节特征，提升生成深度图像的质量；(3)构建生成式对抗网络中的判别器：采用卷积层‑激活函数层‑批量归一化层BatchNorm作为判别器网络的组成单元，多层堆叠成最终的判别网络，采用分块判别器的结构，分别判别生成器生成图像各块的图像是否为真实图像或虚假图像，再将各块的响应取平均值作为判别器的最终输出；(4)构建生成对抗网络的损失函数：在条件生成对抗网络损失函数的基础上，加入一范数损失函数，使得生成器的任务不仅要求其混淆判别器，还在一范数空间中最小化生成图像与真实标签之间的损失，提升生成图像在低频信息段的质量，并且使用dropout代替条件生成网络通常使用的高斯噪声；(5)对构建完成的生成对抗网络进行训练和测试：将第一步得到的数据集，每次随机选择一副图像对，首先进行随机裁剪的数据增强，输入到网络中进行训练调整训练参数，选择优化器，对判别器和生成器交替式训练，前向传递计算损失值，反向传递更新网络权重，经过一定的迭代次数之后保存最终生成器网络的权重，将测试集的彩色图像输入进训练好的生成器网络中，得到网络预测出的深度图像。