[发明专利]基于多视角光度立体的移动三维重建方法

摘要

基于多视角光度立体的移动三维重建方法，包括相机参数标定与光源标定；采集图像，第一帧记为参考帧，绕参考帧拍摄多张；获取每帧的相机位姿，以及目标物体的稀疏三维点云；进行单帧法向估计；对目标物体三维重建，通过以上步骤即完成了在参考帧视角下的三维重建。本发明实现了在相机移动状态下完成对目标物体的高精度三维重建。该方法简化了光度立体技术对设备的要求，仅需要一个相机和一个光源，进而提高了其在实际使用中便携性；同时，本方法充分利用了所获取的相机位姿和点云信息，优化了匹配等关键部分的计算方法，提高了方法整体的计算速度，从而增强了多视角光度立体方法的实用性，可进一步用于实时三维重建应用中。

主权项

1.基于多视角光度立体的移动三维重建方法，其特征是包括以下步骤：S1.相机参数标定与光源标定：首先设定相机参数使其在拍摄过程中保持不变；标定相机的内参；然后标定相机光源的光照主方向，测得相机光轴与光源光路的夹角，并在拍摄过程中保持不变；S2.图像采集：打开光源，使其一直处于开启状态，使用相机对目标物体进行移动多视角拍摄，即首先将目标物体置于平面，对目标物体进行拍摄；将物体上方或斜上方拍摄的第一帧记为参考帧，以参考帧的相机光轴为中心，绕轴拍摄K帧图像‑‑‑‑记为非参考帧图像组；非参考帧相机光轴与参考帧的相机光轴的夹角在10‑30度之间；选取与参考帧相机光轴垂直的平面作为参考帧垂面，将非参考帧光轴及其在参考帧垂面上的垂直投影所构成的平面称为光轴平面，并使得每两次拍摄时的光轴平面的夹角在20度至360/K度之间；对目标物体至少拍摄五帧，即拍摄总数为K+1帧，K+1≥5；S3.图像预处理：使用运动恢复结构技术(StructurefromMotion)获取每帧的相机位姿，以及目标物体的稀疏三维点云；S4.单帧法向估计：结合每帧的相机姿态和已获取的目标物体的稀疏三维点云，基于朗伯反射模型，对参考帧中有目标物体的区域——简称目标区域每个像素对应的物体点计算其法向信息，具体如下：K1)光照转换：将不同视角下的光照方向，统一表示在参考帧的相机坐标系下；根据已知的每帧图像对应的相机位姿信息，包括每帧图像的旋转矩阵(R₁～R_K+1)和每帧图像的平移矩阵(t₁～t_K+1),将每一非参考帧视角下的光照方向l_c转换到参考帧坐标系(R_r,t_r)下，使得：其中，为光照方向从第k个非参考帧的相机坐标系变换到世界坐标系下的变换矩阵k＝1,...,K；l_k为第k非参考帧图像下的光照在参考帧的相机坐标系中的表示；K2)视角转换：将同一物体点在多个视角下对应的像素点进行关联，从而使参考帧的目标区域得以采用光度立体技术求解物体表面法向量；参考帧和非参考帧图像间采用双目立体视觉技术两两建立联系；将参考帧和非参考帧图像进行双目图像矫正，使两图像矫正后的像平面平行，同一物体点在参考帧和非参考帧图像中的纵坐标相同，横坐标上存在视差d，从而降低了密集匹配的复杂度，使得本方法只需要在矫正图像的横坐标方向实现密集匹配；矫正后得到参考帧和非参考帧图像对应的矫正变换矩阵和透视投影矩阵：[T_r,T_k,M′_r,M′_k]其中，T_r、T_k表示参考帧图像和第k个非参考帧图像的矫正变换矩阵，M_r′、M_k′表示矫正后的参考帧图像和第k个非参考帧图像的透视投影矩阵；根据相机透视成像原理，将步骤S3的稀疏三维点云映射到每帧图像中，并在各帧图像间建立关键点匹配关联；稀疏三维点云在矫正后的参考帧图像和第k个非参考帧图像间产生关键匹配点，关系如下：其中，q_r′、q_k′分别表示矫正后的参考帧图像和第k个帧图像上的关键匹配点；Q表示稀疏三维点云中的任一物体点；同时采用基于图像块相似性的匹配方法验证上述匹配的准确性，筛选出可靠的关键匹配点；即对上述由稀疏三维点云在参考帧图像上的产生的匹配点，在第k个非参考帧图像的横坐标方向搜索最大相似点；所用匹配策略如下：C(d)＝∑_(x,y)∈s(I′_r(x,y)‑I′_k(x‑d,y))²          (2)其中，C为匹配图像区域的误差，d是视差，为待求量；S为关键匹配点对应的图像区域，(x,y)为区域S内点的坐标；I_r′,I_k′分别为矫正后的参考帧图像和第k非参考帧图像的的光强值(即图像的灰度值)；I′_r(x,y)为点(x，y)在矫正后的参考帧图像上的光强值；因非参考帧图形上的点与其在参考帧图形上对应的点存在横坐标上的视差d，故以I′_k(x‑d,y)表示点(x‑d，y)在矫正后的第k个非参考帧上的光强值，使得C取得最小值的匹配区域所对应的匹配点，即为所求的匹配点；对于矫正后的参考帧上的关键匹配点q_r′，公式(1)、(2)表示的两种匹配方法所求得的在第k个非参考帧图像中的匹配点分别为q′_k、q′_k2；则筛选出的可靠匹配为其q′_k中的点在q′_k2中具有像素差异在五个像素以内的那些；获得可靠的关键匹配点后，采用薄板样条插值方法(Thin‑Plate Spline)进行插值，形成密集匹配；即在薄板样条插值方法中，参考帧的坐标为基坐标，非参考帧的横坐标为插值目标；从而以该方法获得参考帧和非参考帧在横坐标上的视差；然后，非参考帧与参考帧建立像素级匹配；最后，将多幅图像中目标物体的成像统一到参考帧的视角下；所采用的非参考帧到参考帧视角的转换方法如下:其中，p_r、p_k分别表示参考帧和第k个非参考帧图像上的点；T_r、T_k表示参考帧和第k非参考帧图像的矫正变换矩阵；d_tps表示矫正后的参考帧和第k个非参考帧图像在横坐标上的视差；(K3)用光度立体技术求解物体表面法向量:为了满足朗伯反射模型，首先将各个图像中阴影(低于10)及高光区域(高于250)移除，不在三维恢复的范围内；然后将各个图像中的目标区域的光强值(即图像的灰度值)进行均匀归一化处理，以统一图像组的光照强度；在此基础上，对于参考帧上的每一点像素p对应的目标物体点P,采用基于朗伯反射模型的光度立体模型表示：E(P)＝ρ(P)n(P)L(P)          (3)其中，E(P)表示物体点P在K幅非参考帧图像下的光照强度集合，为步骤K2得到的已知量；ρ表示目标物体点P的反照率，为未知量；n(P)表示物体点P在参考帧的相机坐标系下的单位法向量，为未知量；L(P)表示在参考帧的相机坐标系下K幅非参考帧图像中的光照方向的集合，为步骤K1获得的已知量；采用最小二乘法对公式(3)进行求解，可同时计算得到ρ与n，即求得目标物体的法向信息；S5.目标物体三维重建：对目标物体高精度地恢复其表面的细节，具体如下:A1)首先，采用基于最小二乘法的局部积分方法对目标区域进行法向积分，计算得到像素级的物体高度H；A2)接着，根据稀疏三维点云，将像素级的物体高度H转换为相机坐标系下的深度D：从步骤S3中的稀疏三维点云中任选一点Q，作为尺度转换参考点；设Q在参考相机坐标系下表示为(X₀,Y₀,Z₀)、其对应于图像上像素点q，则可实现的光度立体高度转换为：其中，D为转换后的目标物体的深度，f是相机焦距，h、H分别为步骤A1中得到的q点和目标物体的像素级高度；A3)然后，再根据已知稀疏三维点云，采用平滑薄板样条插值方法获得深度偏差分布，该深度偏差为步骤A2中得到的深度数据和真实数据间的误差；通过在步骤A2中得到的深度数据上叠加由平滑薄板样条插值方法得到的深度偏差，得到矫正偏差后的真实深度数据Z_c；A4)最后，根据相机透视原理和深度数据Z_c，计算相机坐标系下物体的三维信息；再根据参考帧所对应相机的位姿信息(即旋转和平移关系)，将估算的三维信息从相机坐标系转换到世界坐标系，即本方法所需求的物体的真实三维重建；所述的转换方法如下：P＝Z_cM^‑1p，其中，P为物体点在世界坐标系下的表示，p为参考帧图像的目标区域内像素点，Z_c为相机坐标系下物体深度，M为从世界坐标系到参考图像的透视投影矩阵，可由S1中标定得到。