[发明专利]一种基于RGB-D特征匹配的3D点云拼接与融合方法

说明书

本发明公开了一种基于RGB‑D特征匹配的3D点云拼接与融合方法，该方法主要包括：将不同视点的场景表面3D点云数据投影到RGB‑D图像进行处理，实现三维点云降至二维的降维计算；提取RGB‑D图像特征点，建立RGB‑D图像的特征描述，对不同视点RGB‑D图像进行匹配；求解坐标及深度变换矩阵，对RGB‑D图像进行拼接与融合；将拼接后的RGB‑D图像转化为3D点云数据。通过采用本发明提供的方法，可以简化三维点云特征提取和匹配的计算，提高三维点云拼接和融合的效率。可应用于3D大视场与3D全景的场景重建。

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于RGB-D特征匹配的3D点云拼接与融合方法。

背景技术

场景三维重建是计算机视觉领域研究的重要课题，实际应用中无法一次性获得被测场景表面完整的3D点云数据，只能通过多视点拍摄或测量得到点云数据，再配准到统一的坐标系下。常用的方法：依赖仪器配准通过硬件之间的坐标关系将多片点云旋转平移到统一坐标系下，该方法不需要点云之间具有共同特征，配准速度快，但要求对硬件进行精准标定或标志点的辅助获得全场景图像间的坐标变换关系；自动配准是通过一定的算法或统计规律将两片云之间的错位消除，该方法需要两点云数据之间具有共同特征，在某些情况下需要获取初始值，且配准算法存在退化的情况。

因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。

发明内容

本发明的目的在于提供一种基于RGB-D特征匹配的3D点云拼接与融合方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种基于RGB-D特征匹配的3D点云拼接与融合方法，其中，包括：

步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；

步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；

步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；

步骤400，将拼接后的RGB-D图像转化为3D点云数据。

进一步地，步骤100中的“实现三维点云降至二维的降维计算”方法包括：

在3D点云坐标系下，选定一个参考面Z_w＝d₀作为相机平面，则3D点云数据(X_wY_w，Z_w)转化为RGB-D图像坐标(x，y)＝(X_w，Y_w)与深度D(x，y)＝d₀-Z_w。该RGB-D图像的中心点投影到相机平面上作为该图像的视点。

进一步地，步骤300中的“求解坐标及深度变换矩阵，对RGB-D图像进行拼接”包括：

经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：

其中A′对应图像I′，A对应参照图像I，变换矩阵T_k包含旋转、缩放、平移和变形量，通过代入特征点对进行求解；

利用求解出的T_k对图像I′中的像点逐一变换，实现图像的拼接。

进一步地，步骤300中的“对RGB-D图像进行融合”包括：

不同RGB-D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，变换过程由以下线性模型给出：