[发明专利]一种基于参考信息辅助的深度学习的三维重构方法

说明书

本发明提供一种基于参考信息辅助的深度学习的三维重构方法，包括如下步骤：S1：构建深度卷积神经网络，所述深度卷积神经网络具有3条路径，定义该深度卷积神经网络为Recon_net；S2：搭建条纹投影轮廓系统并标定，所述条纹投影轮廓系统生成训练集，所述Recon_net采集训练集进行训练。相比于传统三维重构方法，本发明无需复杂繁琐的系统预标定过程，通过训练后的深度学习模型，以数据驱动的方式直接将被测物相位信息映射到绝对深度，操作更加便捷；相比于传统端到端的深度学习方法，本发明通过在输入数据中添加一组参考信息，使得神经网络能够更加快速、有效地实现相位到深度的映射。

技术领域

本发明涉及光学测量技术领域，具体为一种基于参考信息辅助的深度学习的三维重构方法。

背景技术

条纹投影轮廓术（FPP）是目前最为广泛使用的一种光学三维成像技术之一。由于其便捷的硬件装置、较高的测量精度而被广泛应用于智能制造、生物医学、人机交互等领域。

一个传统的基于条纹投影的三维成像系统由一个投影仪和一个相机组成，投影仪将条纹图像投向物体，条纹被物体调制后变形，由相机采集调制后的条纹图；从采集到的条纹图可获取物体的包裹相位信息，将包裹相位展开成绝对相位后，最后可根据预标定参数恢复出物体的三维形貌。该过程中最后一步称之为三维重构，通常三维重构需借助预标定参数。这里以相机标定为例介绍标定的过程，相机标定简单来说是从世界坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系的过程，其中后者的转换需通过相机的内参（焦距、主点位置、畸变参数等），前者转换需通过相机的外参（旋转、平移矩阵）。为了求解相机的内外参，需利用特制的标定板，将标定板以不同姿态放置于相机前，相机采集不同姿态下的标定板图像后，提取出标定板中的二维特征点，特征点对应的世界坐标系下的三维点可认为已知，根据相机针孔模型列出一系列二维特征点通过内外参映射到三维点的方程，可求解相机的内外参。投影仪的标定与相机标定类似，将投影仪视为一个逆相机来进行建模，但是由于投影仪无法像相机一样拍摄到图像，因此通常通过向标定板投影横纵条纹图像的方式来提取投影仪所“看到”的标定板的二维特征点，同样列出一系列二维特征点通过投影仪内外参映射到三维点的方程，可求解投影仪的内外参。通过以上描述不难看出，条纹投影轮廓系统的标定过程十分复杂繁琐，但这却是三维重构必经的一个过程。如何以更简单便捷的方式进行三维重构已成为条纹投影领域的一大难题。

发明内容

本发明目的在于提供一种基于参考信息辅助的深度学习的三维重构方法，借助深度学习这一可综合利用空时信息的工具来实现三维重构，首先构建一标准条纹投影轮廓系统，通过传统算法收集大量绝对相位-深度信息对用作深度神经网络的训练集；此外，创新性地在网络输入数据中添加一组参考数据，以使网络能够更了高效的从相位信息中预测被测物的绝对深度。

为达成上述目的，本发明提出如下技术方案：一种基于参考信息辅助的深度学习的三维重构方法，包括如下步骤：

S1：构建深度卷积神经网络，所述深度卷积神经网络具有3条路径，定义该深度卷积神经网络为Recon_net；

S2：搭建条纹投影轮廓系统并标定，所述条纹投影轮廓系统生成训练集，所述Recon_net采集训练集进行训练，定义训练后的Recon_net为Recon_model；

S3：利用训练完成的Recon_model实现相位到深度的映射。

优选的，步骤S1中，深度卷积神经网络的3条路径分别为处理路径1、处理路径2和处理路径3；

处理路径1包括第一卷积层、第一残差模块和第二卷积层，定义进入处理路径1的数据为未处理数据a，所述未处理数据a进入第一卷积层、第一残差模块进行处理，定义未处理数据a经第一卷积层、第一残差模块处理后为处理数据b，所述处理数据a和未处理数据b一起依次进入第二卷积层和连接层；