[发明专利]一种基于深度学习的弱光多视图几何重建方法

说明书

本发明公开了一种基于深度学习的弱光多视图几何重建方法，属于计算机视觉技术领域。可将输入的多视角低光照图像完整、准确的转换为三维点云模型。按以下步骤进行：S1、搭建实验平台，构建弱光多视图立体重建数据集；S2、处理弱光多视图立体重建数据集，将其作为基准数据用于后续网络学习；S3、将低光照增强数据集送入级联编码器、解码器网络进行训练；S4、利用多尺度几何重建网络计算增强后多视图的深度信息；S5、将采集的需要转换的多视角低光照图像转换为三维点云模型。采用基于深度学习的多视图几何重建算法，通过低光照增强网络和多尺度重建网络可以生成更精细的细节和清晰的纹理。深度图的完整性和整体质量有了很大的提高。

技术领域

本发明涉及一种基于深度学习的弱光多视图几何重建方法，属于计算机视觉技术领域。

背景技术

3D重建是智能机器人、虚拟现实、增强现实和自动驾驶等新兴应用领域的重要课题。多视图几何重建(Multi-view Stereo,MVS)技术广泛用于重建过程。它在3D制图、文化遗产保护、动漫和游戏行业有着广泛的应用。

近年来，基于学习的MVS框架越来越多地应用于解决传统多视图几何重建算法的局限性。基于学习的多视图几何重建方法采用深度卷积层来推断每个视图的深度图，然后是单独的多视图融合过程来构建3D模型。这些方法允许网络提取编码场景的全局和局部信息的判别特征，以获得稳健特征匹配。通常，这种方法是一种端到端的网络结构，它学习根据先验知识从多幅图像中推断每个视图的深度信息。基于学习的MVS方法可以实现最先进的性能，具有更好的重建精度、更高的完整性、在遮挡下更健壮和更少的内存消耗。尽管最近在基于学习的MVS重建方面取得了进展，但很少讨论使用低光图像估计场景的高精度3D形状，这仍然是一个特别具有挑战性的问题。主要原因是低光图像缺乏足够的视觉处理特征信息。大多数现有的MVS方法都需要高质量的输入图像。然而，低光和低纹理环境往往会导致点特征不足而导致重建失败。

发明内容

本发明针对以上问题，提出了一种基于深度学习的弱光多视图几何重建方法，可将输入的多视角低光照图像完整、准确的转换为三维点云模型。

本发明的技术方案为：

按以下步骤进行：

S1、搭建实验平台，构建弱光多视图立体重建数据集，弱光多视图立体重建数据集包括用于训练低光图像增强网络的低光照增强数据集和用于训练多尺度几何重建网络的多视图几何重建数据集；

S2、通过3D纹理网格重建、计算尺度因子和迭代对齐3D网格模型三个步骤处理多视图几何重建数据集，将其作为基准数据用于后续网络学习；

S3、将低光照增强数据集送入级联编码器、解码器网络进行训练，由此得到增强后的多视角图像；

S4、根据多视图的相机位姿，利用步骤S2处理后的多视图几何重建数据集以及步骤S3得到的增强后的多视角图像建立并训练多尺度几何重建网络；

S5、将后续采集的需要转换的多视角低光照图像输入得到的弱光图像的三维重建模型，即多尺度几何重建网络中，计算增强后多视图的深度信息，最终转换为三维点云模型。

步骤S1具体为：

S1.1、搭建实验平台；

利用一个1.8×1.8×1.8(米)的支撑架和配套的黑色幕布建立一个封闭的暗室，暗示内部放置一个不反光的平台，平台上固定一台工业相机和一个可控制的转盘，暗室顶部悬挂LED灯管、平台两侧放置柔光灯；

S1.2、构建低光照增强数据集；

采集数据的场景是小玩偶、物体模型和生活用品，低光照增强数据集是原始传感器数据，包括低光图像和对应正常光图像对；

S1.3、构建多视图几何重建数据集；