[发明专利]一种基于轮廓有效性提高三维重建点云稠密程度的方法

摘要

本发明公开了一种基于轮廓有效性提高三维重建点云稠密程度的方法，其包括有：1、提取其物体轮廓，生成对应的有效区域图序列；2、计算点云在x,y,z轴上的扩展尺度；3对初始点云中的每个点进行扩展，得到一个派生点云；4、将派生点云变换到相机坐标系下，并反投影到有效区域图中，保留有效区域内的点；5、计算处理过的派生点的初始点到该点的向量与该点的法向量的点积，保留点积值大于零的点；6、检查派生点云的稠密程度是否达到需求，不满足需求时将该派生点云作为初始点云，再次进行步骤2之后的操作至满足需求。本发明不局限于特定的绕拍图像序列，不过分依赖于参数的调整，可以在较低计算量的情况下，在较短的时间内提高有效点云的稠密程度。

主权项

1.一种基于轮廓有效性提高三维重建点云稠密程度的方法，其特征在于，其包括以下步骤：S1、通过摄影设备获取一组绕拍图像序列，对每帧绕拍图像提取物体轮廓，并将轮廓区域内的像素值设置为255，将轮廓外的像素值设为0，得到一帧二值图像，称为有效区域图；S2、对绕拍图像序列进行三维重建步骤，获得一个稠密度很低的点云，称为初始点云，同时还获得每一帧相机相对于世界坐标系的旋转矩阵R与平移向量t,旋转矩阵与平移向量组合起来形成变换矩阵M；S3、遍历初始点云中的每个点，获得初始点云中所有点在x、y、z三个轴上取值的最大值与最小值，并计算每个轴上最大值与最小值之间的距离差，分别记做x_dis、y_dis、z_dis，分别将此三个距离差除以100，得到的三个量，称为初始点云的派生尺度，记做x_scalar、y_scalar、z_scalar；S4、将初始点云中的一个点作为源点，分别沿x、y、z三个方向的正负方向各扩展对应步骤S3中计算的派生尺度大小，得到一个以源点为中心的长方体，该长方体的长宽高分别为2*x_scalar、2*y_scalar、2*z_scalar，该源点中心往长方体的周围共扩展了26个方向，在每个方向上派生出一个新点，取该新点的法向量与源点的法向量相同，且每个派生点均记录其源点；S5、对初始点云中的每一个点都进行一次步骤S4所述的派生操作，将得到一个派生的点云，该点云中点的数量是初始点云数量的26倍；S6、对绕拍图像序列中的第i帧图像，取出其在步骤S2中计算得到的变换矩阵Mi，将步骤S5中得到的派生点云根据变换矩阵Mi变换到对应的相机坐标系下，并根据投影原理将派生点云中的每个点反投影到步骤S1中获得的第i帧的有效区域图上；S7、根据S6中的步骤，对投影到第i帧有效区域图中的无效区域内的点，将其从派生点云中删除，投影到第i帧有效区域图中的有效区域中的点则保留；S8、对绕拍图像序列中的每一帧均执行上述步骤S6和S7的操作，通过对派生点云环绕投影并删除，三维重建获得了含有内点的派生点云；S9、遍历步骤S8所获得的派生点云中的每个派生点，判断每个派生点是内点还是外点，删除掉是内点的派生点云，保留是外点的派生点云；最终保留下的点云为派生一次的有效点云；S10、统计步骤S9所得有效点云的数量，若稠密程度达到需求，则此有效点云为最终点云；若稠密程度未达到需求，则将该有效点云作为初始点云，重复上述S3至当前步骤，直到获得的有效点云满足稠密度要求；步骤S3所述的派生尺度是初始点云中所有点坐标分别在x、y、z三个轴上最大值与最小值之间距离差的百分之一，该派生尺度是经过多次测试后的有效参数，不需要根据具体应用调整；步骤S4中以初始点云中的其中一个点作为源点向长方体的26个方向派生获得新点，其中新点的计算公式为：其中，x_org、y_org、z_org分别为初始点云中某一个点在x、y、z轴上的坐标，x_scalar、y_scalar、z_scalar分别为计算得到的x、y、z三个方向的派生尺度，上式计算得到的3*3*3个新点坐标，除了源点坐标增量为(0，0，0)的情况，将会派生出步骤S4中描述的26个新点云；步骤S6中，将派生点云变换到第i帧图像的相机坐标系的计算公式：(x_cami,y_cami,z_cami)＝(x_world,y_world,z_world)*Ri+ti其中，(x_world,y_world,z_world)为派生点云在世界坐标系中的坐标，Ri，ti分别为第i帧相机的旋转矩阵与平移向量，经过Ri与ti的变换，将世界坐标系中的点云转到了第i帧相机坐标系下，即第i帧相机坐标系中变换后的点云的坐标为(x_cami,y_cami,z_cami)；将相机坐标系中的点云进行反投影，将每个点投影到第i帧有效区域图中，投影位置的计算公式：其中，f为相机焦距，Cx、Cy分别为图像分辨率的0.5倍，计算得到的u、v为该点投影到图像上的位置，即图像上的第u行、第v列对应的像素位置；步骤S8中，通过绕拍图像对派生点云滤除后，此时的派生点云已经没有外部杂点，同时也将初始点云中部分错误的点滤除了，但是由于派生方向是26个方向，因此还存在位于表面内部的点，即内点；步骤S9所述的判断每个派生点是内点还是外点的方法，是根据向量点积的方法来确定的：由于源点的法向量指向物体的表面切平面的外侧，对每个派生点，计算该派生点的派生源点到该派生点的向量，若该向量与该派生点的派生源点的法向量的点乘结果为正，说明该派生点为外点，保留该点；若该向量与该派生点的派生源点的法向量的点乘结果为负，说明该派生点的派生源点到派生点的向量与法向量的夹角大于90度，说明该点为内点，删除该点；所述步骤S1中所述的提取物体轮廓的方法是使用sift算法，且最终得到的有效区域图是二值图像。