[发明专利]基于全局式和增量式估计的运动恢复结构三维重建方法

摘要

本发明公开了一种基于全局式和增量式估计的运动恢复结构三维重建方法，用于解决现有运动恢复结构三维重建方法局部重建精度低的技术问题。技术方案是以场景图结构为输入，在其中提取鲁棒的子图作为全局式估计的输入，从而能够使用一部分质量高的图像间信息对场景整体结构进行估计，提高估计的鲁棒性。对于剩余的、未加入场景的图像，采用局部增量式估计的方法逐一加入模型，以提高模型重建的局部精度。本发明将增量式和全局式的估计方法相结合，综合两者的优点，以达到鲁棒、高精度的重建效果。本发明在重建精度方面相较背景技术方法具有最低的平均重建误差，对于具有553张图像的数据集，相机位置的平均误差仅为0.3m。

主权项

1.一种基于全局式和增量式估计的运动恢复结构三维重建方法，其特征在于包括以下步骤：步骤一、鲁棒最大叶子节点生成树提取；对于输入的多帧图像，首先进行两两图像之间的特征匹配，并计算两图像之间的相对旋转和相对平移，进而通过运动信息构造原始场景图G＝(V,E)，其中V为节点，代表场景中拍摄图像的相机集合；E为边，代表拍摄不同图像的相机两两之间的运动信息；在原始场景图G中提取鲁棒的最大叶子节点生成树，从一个具有最大度数的节点开始，不断加入新的点和边；在构造生成树的过程中，采用回环一致性检测的方法剔除错误的边，回环检测公式为：dtri(Rmn⊙Rno⊙Rom,I)＜ε   (1)其中，dtri(a,b)为衡量两个指向矩阵a,b之间差异的角度度量函数，Rmn,Rno,Rom为三元组(m,n,o)中两两相机间的相对旋转信息，为3×3的正交矩阵，⊙为旋转的叠加操作，I单位矩阵，代表不发生旋转，ε为阈值；在剔除边后进行连通区域检查，并选用最大的连通图结构继续进行操作；当原始场景图G中所有的点都被遍历后，生成树构造停止，得到鲁棒的最大叶子节点生成树TR；步骤二、鲁棒子图提取；在最大叶子节点生成树TR中提取相邻的边，从原始场景图G中寻找能与相邻边构成三元组的候选边，对三元组进行回环一致性检测；若通过检测，则将原始场景图G中候选边加入最大叶子节点生成树TR中；当所有相邻边遍历后，视为一轮操作，此操作重复执行3轮；边扩充后，得到扩充后的鲁棒图GT；对扩充后的鲁棒图GT进行进一步扩充操作；采用社群检测的方法在原始场景图G中寻找不同社群SC，针对扩充后的鲁棒图GT中分布在原始场景图G的不同社群中的点对，检查其两两之间是否存在未加入扩充后的鲁棒图GT的、在原始场景图G中的边，若存在，对其进行回环检测，通过回环检测的边则加入扩充后的鲁棒图GT中；检测扩充后的鲁棒图GT中的不同社群RC，针对扩充后的鲁棒图GT中分布在扩充后的鲁棒图GT不同社群中的点对，寻找其在原始场景图G中存在、未加入扩充后的鲁棒图GT的边，通过回环检测后，将边加入扩充后的鲁棒图GT；算法将所有边检测完毕后，获得鲁棒子图RG；步骤三、基于鲁棒子图的全局式位姿和模型估计；以构造的鲁棒子图RG为输入，对鲁棒子图RG所表征的场景进行全局式重建，设任意两个图像代表的相机i,j，其包含的运动信息为相对旋转Rij和相对平移tij，两相机在全局位姿中指向为Ri,Rj，位置为ci,cj，则其全局位姿与相对运动之间的关系为：其中，代表相差一个尺度参数；对鲁棒子图RG中各个相机的全局指向进行估计，设为衡量两矩阵u,w之间差异的平方角度度量函数，采用梯度下降法求公式的最优参数R_global其中，为RG中所有相机的全局指向，N_RG为鲁棒子图RG中相机的数目，E_RG为鲁棒子图RG中的边集；通过梯度下降进行求解，进而以此为基础，通过优化下述公式获取全局位置信息其中，A_c为稀疏矩阵，x_c和B_c分别为每个相机的全局位置c_i和每个两相机间平移t_ij连接后的向量；通过梯度下降算法得到相机的全局位置结合点云三角化从而得到鲁棒子图RG中相机的位置以及对应的三维点云模型D；步骤四、局部增量式位姿和模型估计；针对场景相机集合V中未在全局式方法重建成功的剩余相机Vremain，采用局部的增量式估计方法对其进行重建；将全局式重建得到的相机、点云结果以及Vremain中的相机按照原始场景图G中检测出的不同社群进行划分，对于一个社群中的剩余相机，采用同一社群中的已重建点云对其相机位置进行估计，对模型进行扩充；在扩充的过程中采用局部光束法平差对模型进行优化，当所有相机估计完毕后，采用全局光束法平差优化相机和模型，得到最终重建结果。