[发明专利]三维场景重建中低分辨率图像单目深度估计系统及方法

说明书

本发明是一种三维场景重建中低分辨率图像单目深度估计系统及方法，方法包括：步骤1、构建适合EDSR训练的数据库K‑DIV2K数据集；步骤2、采用数据集分别训练EDSR放大2倍、放大3倍和4倍模型，得到具有不同放大能力的超分辨率放大模块；步骤3、将得到的超分辨率放大模块进行多尺度深度预测，得到12个尺度的输入图片；步骤4、将步骤3中其中九个尺度的输入图片送到单目深度估计网络架构中，采用空洞卷积提取图像中的特征图，最终恢复出深度信息图。本发明提升了EDSR模型的泛化能力，使其能在KITTI数据集上得到较好的超分放大效果，提升了模型的在低分辨率输入图像下的特征提取能力和深度估计能力。

技术领域

本发明涉及一种图像处理技术，具体的说是一种三维场景重建中低分辨率图像单目深度估计系统及方法。

背景技术

像素级的深度信息往往采用深度传感器等代价昂贵的仪器来获得。随着计算机算力的不断发展，基于大数据驱动的深度学习算法的信息挖掘能力不断的增强。使得单目自监督算法在深度估计上的部署成为一种可能。在计算机视觉领域，随着各种特征提取网络的深度和宽度不断的提升，使得研究人员可以不断的得到图像的高维信息。单幅图像的深度估计本质上是建立一个图像的像素值和实际场景的深度值之间的一个映射关系。其本身上是一个不适定问题，即我们无法像深度传感器一样得到物体间的绝对深度关系，只能得到视野中各物体的相对位置关系。而在实际应用中，得到物体之间的相对深度就足够计算出场景中各个物体的相对位置关系，从而满足视频三维重建的任务要求。而部署价格昂贵的深度传感器得到的绝对深度的性价比比只部署单目摄像头的性价比要低得多。所以单目深度估计依然在场景重建，三维物体检测，机器人视觉和自动驾驶中发挥着巨大的作用。

深度估计方向整体分为单目深度估计和双目深度估计两个方面，早期的深度估计采用传统方法通过立体匹配算法和运动恢复结构从立体图像或者图像序列中来推算深度信息，但是这些方法严重的依赖于输入的多视图几何图像，双目深度估计或者多视点方法大多数都可以得到相当精准的深度信息，这是因为在多个视角中确定三维空间某一点在二维平面上的投影，在已知相机内参和视角之间的位置关系后，这个问题就转变成了一个数学计算问题，所以目前双目深度估计的主要困难在于计算时间和内存需求方面。而单目深度估计的发展主要依赖于卷积神经网络强大的特征提取能力，单目深度估计根据运动恢复结构原理，在单目视频上首次采用前后帧作为自监督方法来处理训练视频中帧间运动过小的问题。SGDepth采用提前训练好的语义分割框架来对深度估计进行指导，从而改善视频中运动物体的深度估计问题。Hanhan Li等提出了一种1/2范数的剩余平移场正则化方法来作为约束方法，通过对视频中运动物体进行筛选来提升单目深度估计的性能。但是上述的这些方法都是在中等分辨率下进行实验，而当图像输入的分辨率降低后，图像估计的性能会得到明显的下降。

现有的深度信息恢复方法还存在如下缺陷：

第一、低分辨率图像由于图像尺寸较小，缺乏物体信息，相比于中等分辨率或高分辨的图像，在进行深度估计时会出现明显的效果降低现象，而传统的双线性插值等放大方法并不能有效的提升低分辨率图像的深度估计性能。

第二、由于双线性采样器的梯度局限性，为了防止训练目标陷入局部极小值，现有的单目深度模型采用多尺度深度预测的方法，但由于低分辨率图像尺寸较小，在进行尺度缩放时出现的最低尺度可能只包含几十个像素点，而这样的图片缺乏物体之间的位置关系从而不再具有训练的意义。

第三、原来的下采样和池化层会导致内部数据结构丢失，空间层化信息模糊，并且在处理小物体信息时会因为图像尺寸过小而丢失物体的语义信息。

发明内容

为了解决上述技术问题，本发明提出了一种基于超分辨EDSR的低分辨率图像单目深度估计方法，通过采用预训练的EDSR模型来代替原本算法中的插值放大模块，提升图像的细节特征，将原本算法中多尺度预测部分的4尺度改为9尺度，采用空洞卷积完成采样操作，在不减少感受野的前提下降低空间特征的损失，增加模型的特征提取能力。

为了达到上述目的，本发明是通过以下技术方案实现的：