[发明专利]一种基于曼哈顿假设的场景重建方法

说明书

本发明公开一种基于曼哈顿假设的场景重建方法。该方法基于曼哈顿假设的方案给出了精确的运动估计；首先估计记录帧的所有3D点的法线方向；然后通过PCA估计出三个主要正交平面的法向量方向。由于是通过所有深度点来估计平面的法向量，随机噪声被极大的滤除，使得估计的法向量十分准确；通过每个像素点在三维坐标中的位置进一步确定主平面坐标；最后，通过由平面坐标和法向量获取的变换矩阵来估计相机的姿态，并利用每一帧图像的相机姿态拼接出场景三维模型。由于本发明的平面信息是由大量点计算得到，因此比只有单个点的特征点方法更具有鲁棒性。

技术领域

本发明属于计算机视觉领域，尤其针对场景三维重建，具体涉及一种基于曼哈顿假设的场景重建方法。

背景技术

近年来，随着深度感知技术的发展，实现3D室内场景的实时3D场景扫描成为可能。业界提出了几个系统，并产生了有希望的结果。另一方面，随着增强现实(AR)成为学术和行业的热门话题，迫切需要实时3D扫描，因为我们真实场景的3D几何的复原是使虚拟对象无缝对齐的关键。在微软的头戴显示器Hololens中，许多基于AR的应用程序需要扫描当前房间的3D几何。

使用深度相机，直接记录3D信息，实现3D扫描的关键是估计每两个连续输入帧之间的相机运动。首先是使用迭代最近点(ICP)来估计由两个深度帧获得的点云之间的对应关系。然后，两点云可以通过估计的相机运动合并。

然而，在基于ICP的方法中，需要丰富的纹理特征，通过场景中的几何特征，鲁棒地估计正确的相机运动。对于3D空间中的两个纯2D平面，最接近的点可能不是正确的对应关系。在这种情况下，ICP可能会产生错误的相机运动。此外，ICP需要大量采样点，需要迭代才能收敛到最终的对应关系，这意味着相对较重的计算成本。即使一些基于ICP的系统使用GPU实现实时性能，但是仍然不适用于许多实际应用，因为GPU可能被其他任务占用，从而导致基于ICP的系统无法及时计算。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于曼哈顿假设的场景重建方法。

在对室内场景进行三维重建时，由于大部分的场景结构符合曼哈顿假设，即场景是由多个互相正交的平面组成，如天花板，墙面，地板。当深度相机采集的图像序列包含足够的正交平面时，可能存在大的平面区域，因为平面通常具有一致的颜色(如墙面，天花板等)，所以只能提取很少的特征。在这种情况下，基于曼哈顿假设的方案给出了精确的运动估计。首先估计记录帧的所有3D点的法线方向；然后通过主成分分析(PCA)估计出三个主要正交平面(如墙壁，天花板，地板等场景中大的平面区域)的法向量方向。由于是通过所有深度点来估计平面的法向量，随机噪声被极大的滤除，使得估计的法向量十分准确；通过每个像素点在三维坐标中的位置进一步确定主平面坐标；最后，我们通过由平面坐标和法向量获取的变换矩阵来估计相机的姿态，并利用每一帧图像的相机姿态拼接出场景三维模型。

本发明方法包括以下步骤：

步骤(1)、通过深度相机拍摄采集获得室内场景的图像序列，计算图像中每个像素点法向量，具体是：

首先，将图像序列中记录帧的所有像素点通过深度相机的相机模型转换为3D坐标；然后通过某像素点的相邻4个像素点的3D坐标计算获得该点法向量。

D₁(u,v)＝D(u+k,v)-D(u-k,v) (1)

D₂(u,v)＝D(u,v+k)-D(u,v-k) (2)

其中，k是表示两个像素点之间距离，为可调整参数；D₁、D₂为经过像素点D(u,v)的向量；

将D₁、D₂带入公式(3)中，获得D(u,v)的法向量n(u,v)；