[发明专利]三维场景重构中几何线索感知的像素级点云稠密化方法

摘要

本发明涉及一种三维场景重构中几何线索感知的像素级点云稠密化方法，是为了解决三维重构中过程中点云稀疏，细节缺失的问题，通过定义投影一致性逻辑，来衡量几何关系的正确性并自适应调整像素的归属，指导空间点云的计算；能够将输入图像集的像素点进行有效整合并提取几何空间的投影线索，可以有效的提高三维重构结果的稠密性与精确度。

主权项

一种三维场景重构中几何线索感知的像素级点云稠密化方法，其特征在于，基于以下定义：定义一组图片集为Ι＝{I1,...,In}，其中图像Ii包含的像素点表示为}任一像素点又可以描述为的形式，其中为该像素的RGB三通道颜色空间向量，表示像素在图像平面中的二维坐标位置，包括横轴坐标值、纵轴坐标值、齐次坐标值以及差异值；像素所对应的三维空间点则可以表示为Tl＝＜Cl,Xl＞，其中为该点的RGB颜色值，为三维空间点坐标，包括横轴坐标值、纵轴坐标值、深度坐标值以及齐次坐标值；包含以下步骤：步骤1，在给定图像集Ι的环境下，使用运动求结构方法迭代的恢复出每幅图像的拍摄姿态以及摄像机信息，其中，拍摄姿态对应于立体几何中的相机外参矩阵，定义为[R|t]的形，R空间是旋转矩阵而t是空间平移向量，摄像机信息则对应于内参矩阵，可表示为K；将每幅图像的外参矩阵和内参矩阵相乘即可得到后续计算所需要的摄像机矩阵Pi＝Ki[Ri|ti]，实现方式如下：对于每幅图像，使用SIFT算法检测出其中具有的局部特征点；局部特征点为三维空间点在二维图像平面上的投影；对这些特征点进行基于特征描述符的相似性匹配建立图像与图像之间的视觉联系，它反映了不同视角之间的立体对应关系，其中，设置匹配对的接收比值ratio＝M，其中M取值范围为[0，1]；然后使用RANSAC对极几何约束来验证匹配点的正确性，去除实际操作中的噪声点干扰；将满足几何性约束的匹配成功的特征点连组织成一系列轨迹点，传递给运动求结构迭代算法以便计算每幅图像对应的摄像机矩阵Pi；步骤2，整合像素点集，将像素点集自适应的分割成k个聚类簇，一个聚类簇对应于一个三维点T*，实现方式如下：将整个图像集的像素点集合S＝{S1,...,Sn}放到一个二叉树结构上；该过程从表示数据集中的所有特征的根节点T开始；在每个节点单元中，首先验证是否存有像素点在来自于同一幅图像，即具有相同的图像标识δim；如果该节点单元中的所有像素点都具有不同的图像标识，则将其视为叶子节点；否则，如果两个或者多个像素点具有相同的δim标识，则需要进行二分划分；该划分从含有数据集中的所有像素点的根节点开始并且递归的进行，直到所有叶子节点中的像素点都来自于不同图像为止；其中，二分划分的具体步骤是：计算到该节点中所有像素点在r，g，b三个维度上的最大值和最小值，选择最大值和最小值距离最远的一个维度作为划分维度；在该维度中使用中间值将像素点分割为小于中间值和大于中间值的两个部分；步骤3，根据步骤1所得每幅图像的摄像机矩阵Pi以及步骤2所得k个初始的聚类簇，计算每个像素点在其所属聚类簇Ql中的投影一致性；投影一致性尺度定义如下：fQ(sai)=Σsbj∈Ql|Pi-1xai-Pj-1xbj|,---(1)]]>实现方式如下：对于每个集群Ql中的任一特征点首先计算该特征点与该集群中的其它像素点之间的投影一致性残差，表示为然后，选择其中具有最低残差值的一个像素点作为当前聚类的代表性点；并统计每个聚类簇所包含的投影一致性残差总和，定义为直到所有的聚类簇代表点以及相应的一致性残差总和El都被计算出来；步骤4，根据步骤3得到的聚类簇代表性像素点，也就是具有最低残差值的一个像素点作为当前聚类的代表性点，即的那一个计算每个像素点与不同聚类簇之间的投影一致性关系；该一致性由像素点与聚类簇的代表性点定义：并且重新调整每个像素点的归属关系；实现方式如下：对于数据集中的每一个像素点计算它与每个聚类簇代表性像素点之间的投影一致性残差；如果在这所有的聚类簇中，像素与聚类簇Ql的代表性像素点之间计算得到的投影一致性残差值最小，而且则像素应该分配到聚类簇Ql中去；否则，如果则不做任何修改，继续处理另一个像素点，直到所有的像素点被调整完成；步骤5，重复步骤3和4直到满足结束阈值；对步骤3和4迭代求得的聚类簇进行验证处理；滤除每个聚类簇中存在的潜在干扰点以及数量不满足要求的聚类簇；利用得到的最终聚类结果以及步骤1恢复出来的每幅图像的摄像机矩阵Pi，根据公式计算每个聚类簇对应的三维空间点坐标值。