[发明专利]一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

权利要求书

1.一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征在于，包括以下步骤：

（1）自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；

（2）逐帧跟踪物体框，提取物体深度数据；

（3）将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；

（4）部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；

（5）重复步骤（1）-步骤（4）直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图；

其中，所述步骤（1）包含以下步骤：

（1.1）对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；

（1.2）利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心，大小为融合深度图1/2的窗口估计有效深度范围，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；

（1.3）去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续帧后，即某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框，开始目标物体的跟踪、扫描、重建过程；

其中，所述步骤（2）包含以下步骤：

（2.1）对于每一帧的深度彩色图像、，利用前一帧的物体框估计有效深度范围，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；

（2.2）将前一帧的窗口四个方向分别扩展5个像素，得到扩展物体框，对计算内的ORB特征，对计算 ORB特征，利用海明距离（HAMMING）进行最近邻匹配，然后利用GMS算法过滤错误匹配；

（2.3）去除匹配特征点小于5个的候选物体框，将剩余候选物体框合并，获t时刻的物体框；

（2.4）将物体框左右各延展，将延展部分下部%记为，计算中所有深度值对应的相机坐标下的三维点；

（2.5）计算中所有三维点的均值和协方差矩阵，并且计算协方差矩阵最小特征值对应的特征向量，定义支撑平面为过上述均值、法向量为上述特征向量的平面；

（2.6）将中位于中且位于支撑平面上方的中所有像素的集合作为物体深度数据。

2.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤（3）包含以下步骤：

（3.1）根据当前帧 、、惯性运动单元（IMU）的测量值、模型估计当前相机位姿；

（3.2）将当前帧、根据相机位姿融合到最新的模型片段中；

（3.3）在扫描过程中构建由一系列局部融合的模型片段构成模型片段集合，用于表达整个模型，每个模型片段包含了Surfel的集合、对应的关键帧彩色图像、对应的关键帧相机位姿、Embedded Deformation（ED）图；

（3.4）每融合固定帧，对最新的模型片段提取关键帧，构建EMD图，基于所有模型片段的EMD图进行全局非刚体注册，相应调整所有关键帧相机位姿，构建一致的全局三维模型。

3.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤（4）包含以下步骤：

（4.1）暂停扫描，将目标物体翻转置于支撑平面上，继续扫描；

（4.2）对于暂停后的帧、在物体区域提取ORB特征和FPFH特征，对继续扫描后的帧 、模型反投影后的深度数据在物体区域提取ORB特征和FPFH特征，进行最近邻匹配；

（4.3）基于RANSAC算法估计暂停前后的相机相对目标物体位姿变换，在匹配的特征中进行采样，估计相机相对位姿，重复采样和估计相对位姿的过程，直到最小误差小于阈值。

4.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤（5）包含以下步骤：

（5.1）利用泊松重建算法将中的Surfel模型转换为网格模型；

（5.2）将网格模型投影到每一个关键帧相机位姿，生成关键帧模型深度图；

（5.3）将关键帧彩色图像和对应关键帧模型深度图分别提取边缘，分别对齐，使关键帧彩色图和模型边界一致；

（5.4）使用关键帧彩色图和关键帧相机位姿计算纹理贴图。