[发明专利]一种基于RGB-D特征匹配的3D点云拼接与融合方法

权利要求书

1.一种基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，包括：

步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；

步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；

步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；

步骤400，将拼接后的RGB-D图像转化为3D点云数据；

其中：

步骤300中的“求解坐标及深度变换矩阵，对RGB-D图像进行拼接”包括：

经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：

其中A′对应图像I′，A对应参照图像I，变换矩阵T_k包含旋转、缩放、平移和变形量，通过代入特征点对进行求解，A′包含图像I′变换矩阵可简写为其中表示缩放、旋转量，S＝(x₀,y₀,D₀)^T表示位移量，V＝(v₁,v₂,v₃)表示水平、垂直和深度方向的变形量；

利用求解出的T_k对图像I′中的像点逐一变换，实现图像的拼接；

步骤300中的“对RGB-D图像进行融合”包括：

不同RGB-D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，假设两图像光度差异是全局的，变换过程由以下线性模型给出：

等式右端RGB值对应参照图像I，左端对应图像I′；

变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影；

步骤400中的“将拼接后的RGB-D图像转化为3D点云数据”包括：

对于3D大视场，从场景前不同视点获取点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换X_w＝x，Y_w＝y，Z_w＝d₀-D(x,y)转化为3D点云数据；对于3D全景，从场景周围不同视点获取的点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换：

转化为点云坐标系下的3D点云数据(X_w,Y_w,Z_w)，其中x₀为RGB-D全景图像最左端横坐标值，x_N为最右端横坐标值；RGB-D图像数据包括图像平面坐标(x,y)、深度D(x,y)和颜色(RGB)信息，参考面Z_w＝d₀作为相机平面；

步骤200具体包括：

步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB-D图像的三维特征点；

步骤201具体包括：

步骤211，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；

步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；

步骤213，在RGB-D尺度空间上极值检测，获取特征点的位置；以及

步骤214，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力；

步骤211中的“场景中物点在相机坐标系中的参数表示”为：

其中，是物点P在相机坐标系中的坐标，(u,v)平面为成像平面，ω为相机的水平视角，W,H表示图像I₀的分辨率，D(u,v)为物点到相机的水平距离；

步骤212具体包括：

根据尺度空间理论，图像I₀(x,y)的高斯尺度空间L(x,y,σ)表示为高斯函数G(x,y,σ)与原始图像I₀的卷积，如下所示：

L(x,y,σ)＝G(x,y,σ)*I₀(x,y), (6)

图像I₀的高斯尺度空间可表示为扩散方程初值问题，即：

此方程有唯一解*表示卷积；

利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：

对图像I₀的支撑域Ω进行步长为h的离散得Ω_d，引入以下差分量，得到扩散方程的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：

其中和为简化符号；

因此，引入拉普拉斯算子L的离散二阶微分算子A，有以下偏微分方程：

将其写成矩阵形式，令再由导数的定义得上式近似于：

其中τ为图像层间的尺度差，即τ＝σ⁽ⁿ⁺¹)-σ⁽ⁿ⁾，σ_n+1和σ_n分别表示图像f⁽ⁿ⁺¹⁾和f⁽ⁿ⁾的模糊度，即尺度；由上式迭代求解，即可建立RGB-D尺度空间；

步骤214具体包括：

为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，具体如下：

步骤2141，令F(u,v)＝Af(u,v),假设经上述极值检测得到的极值点为(u₁,v₁),则在此极值点(u₁,v₁)处将F(u,v)进行Taylor展开，并求驻点得到偏移量

步骤2142，根据偏移量中所有分量与0.5的大小关系定位特征点；

为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：

步骤2143，删除定位出的特征点中低对比度的特征点；

步骤2144，删除定位出的特征点中的边缘响应点；

步骤2145，经过步骤2143和步骤2144的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。