[发明专利]一种基于深度学习的弱光多视图几何重建方法

权利要求书

1.一种基于深度学习的弱光多视图几何重建方法，其特征在于，按以下步骤进行：

S1、搭建实验平台，构建弱光多视图立体重建数据集，弱光多视图立体重建数据集包括用于训练低光图像增强网络的低光照增强数据集和用于训练多尺度几何重建网络的多视图几何重建数据集；

S2、通过3D纹理网格重建、计算尺度因子和迭代对齐3D网格模型三个步骤处理多视图几何重建数据集，将其作为基准数据用于后续网络学习；

S3、将低光照增强数据集送入级联编码器、解码器网络进行训练，由此得到增强后的多视角图像；

S4、根据多视图的相机位姿，利用步骤S2处理后的多视图几何重建数据集以及步骤S3得到的增强后的多视角图像建立并训练多尺度几何重建网络；

S5、将后续采集的需要转换的多视角低光照图像输入得到的弱光图像的三维重建模型，即多尺度几何重建网络中，计算增强后多视图的深度信息，最终转换为三维点云模型。

2.根据权利要求1所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S1具体为：

S1.1、搭建实验平台；

利用一个1.8×1.8×1.8(米)的支撑架和配套的黑色幕布建立一个封闭的暗室，暗示内部放置一个不反光的平台，平台上固定一台工业相机和一个可控制的转盘，暗室顶部悬挂LED灯管、平台两侧放置柔光灯；

S1.2、构建低光照增强数据集；

采集数据的场景是小玩偶、物体模型和生活用品，低光照增强数据集是原始传感器数据，包括低光图像和对应正常光图像对；

S1.3、构建多视图几何重建数据集；

采集数据的场景同样是小玩偶、物体模型和生活用品，多视图几何重建数据集包含若干个场景，每个场景有多个视图，并且提供每个场景的视图选择、相机姿势和深度图。

3.根据权利要求2所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S1.2具体为：采用分辨率为1280×1024的CMOS传感器型相机捕获图像，图像的拜尔阵列分配为B-G-G-R；

在图像拍摄过程中保持柔光灯和LED灯开启状态以提供足够的光线，并通过调整相机的光圈值来获得低光照图像；

在每个场景拍摄中，首先调整相机的光圈和焦距设置，以捕捉高质量的参考图像；

拍摄正常的光照图像后，相机的其他设置不变，将光圈值调整为最小光圈值以拍摄低光图像。

4.根据权利要求2所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S1.3具体为：相机的设置以及拍摄时的光照条件与步骤S1.2一致，相机拍摄过程中，需控制转盘旋转，并且每当转盘打开并旋转过10°时，关闭转盘并在此视点捕获图像，然后继续重复上述操作，从而逐个视点捕获图像，每个场景至少捕获30幅图像，最终以均匀的视角捕获多视点图像。

5.根据权利要求1所述的一种基于深度学习的弱光多视图几何重建方法，其特征在于，步骤S2具体为：

S2.1、3D纹理网格重建；

一边匀速旋转转盘一边通过相机采集图像，在物体周围均匀分布的至少400个视点位置采集图像，采集图像过程中固定相机的帧率；接下来，使用三维重建软件从30+视点和400+视点重建纹理网格，该三维重建软件执行完整的3D重建流程，包括对齐图像、构建密集云、构建网格和构建纹理，最后输出带有相机参数的3D网格模型；

然后，进一步手动清理从400+视点生成的网格模型，以通过MeshLab软件减少噪声并优化平面翻转；

S2.2、计算尺度因子；

首先手动标记实际物体上两个特征点之间的线性距离以及相应图像上两个点的坐标；从400+视点中选择了n张图像，从30+视点中选择了m张图像来标记两个特征点的像素坐标；同时，测量实际物体上两个特征点之间的距离并记录下来；

S2.3、迭代对齐3D网格模型；

根据标注的数据和两个网格模型，最终可以计算出400+视点生成的模型与30+视点的图像之间的比例因子，然后通过迭代最近点算法计算更新对齐的模型；通过30+视点的优化相机参数和对齐的网格模型，将对齐的网格模型渲染为多个视图，以生成深度图作为多尺度几何重建网络训练的真值深度。