[发明专利]一种无特征提取的紧致SFM三维重建方法

权利要求书

1.一种无特征提取的紧致SFM三维重建方法，其特征在于，包括以下步骤：

S1.输入关于某场景的n幅图像，n≥2；

S2.建立与某个相机坐标系相一致的世界坐标系，设世界坐标系与第一相机的坐标系相一致，即世界坐标系的原点、x轴和y轴与第一相机的相机中心、第一相机成像平面的x轴和y轴重合，其z轴垂直指向第一相机的成像平面；

S3.以三维场景的深度和相机投影矩阵作为变量，所述三维场景的深度是指第1幅图像像素点对应的三维空间点具有的深度q；所述相机投影矩阵是指其它(n-1)幅图像的3×4相机投影矩阵P_i，2≤i≤n；

S4.构造类似光流估计的目标函数，所述目标函数是连续域上的变分目标函数或其离散形式的目标函数；

S5.采用由粗到细的金字塔方法，在连续域或者离散域上设计迭代算法对目标函数进行优化，输出表示场景三维信息的深度和代表相机相对位姿信息的相机投影矩阵；

S6.根据表示场景三维信息的深度，实现紧致的射影、相似或者欧几里德重建。

2.根据权利要求1所述的无特征提取的紧致SFM三维重建方法，其特征在于，在实现射影三维重建中，参数化具体为：在建立世界坐标系的同时，其第一相机的相机投影矩阵为[I₃  0]∈R^3，4，其中I₃是一个3×3的单位阵，0是一个3×1的零向量；其它相机投影矩阵P_i∈R^3，4，2≤i≤n，作为待估计的未知参数；场景的三维结构由定义在第一副图像上的三维场景的深度决定：假设与第一幅图像像素(x,y)相对应的三维空间点的三维场景的深度为q_x,y，则该三维点的三维坐标为

(q_x,y×x,q_x,y×y,q_x,y)   （1）

在射影三维重建中，相机投影矩阵P_i和三维场景的深度q_x,y作为待估计的未定参数，为了表达式的简练，在不造成误解的情况下，省略下标x，y。

3.根据权利要求2所述的无特征提取的紧致SFM三维重建方法，其特征在于，实现连续域上射影三维重建的具体实现过程为：

构造的连续域上的目标函数具体为：

f(P₂,...,P_n,q)＝f_data+f_{smooth_uv}+f_{smooth_depth}   （2）

其中

fdata=∫∫dxdyρ(Σi=2nΣI=C1Ck((Ix,y1-Iui,vii)2+β(▿Ix,y1-▿Iui,vii)2))---(3)]]>

fsmooth_uv=α∫∫dxdyρ(Σi=2n(|▿(ui-x)|2+|▿(vi-y)|2))---(4)]]>

fsmooth_depht=τ1∫∫dxdyρ(|▿q|2+τ2|Δq|2)---(5)]]>

对上述目标函数的说明如下：(a)为梯度算子，为拉普拉斯算子；(b)目标函数分为三部分，数据项f_data，偏移平滑项f_{smooth_uv}和深度平滑项f_{smooth_depth}，其中α、β、τ₁和τ₂是非负权重；(c)图像有k个色彩分量C₁,...,C_k，代表第一幅图像在位置(x,y)的色彩I分量值，相应地，为第i幅图像在位置(uⁱ,vⁱ)的色彩I分量值；(d)鲁棒函数ρ的引入是为了克服深度发生剧变带来的影响，鲁棒函数ρ为Charbonnier函数其中∈是一个足够小的的正数，ε＜10^-6；或者为Lorentzian函数σ为某个常数；当不引入鲁棒函数，则ρ(x)＝x；(e)uⁱ和vⁱ是定义在图像域上、以相机投影矩阵P_i和深度q为参数的函数：和代表与第一幅图像像素(x,y)相对应的三维点在第i幅图像的成像位置

ux,yi=Pi,1[qx,y×x,qx,y×y,qx,y,1]TPi,3[qx,y×x,qx,y×y,qx,y,1]Tvx,yi=Pi,2[qx,y×x,qx,y×y,qx,y,1]TPi,3[qx,y×x,qx,y×y,qx,y,1]T,]]>

其中P_i,j为第i个相机投影矩阵P_i的第j个行向量；为了表达式的简练，在不造成误解的情况下，在和中省略下标x,y；

在连续域上设计的优化目标函数（2）的迭代优化算法具体为：因为三维场景的深度是定义在第一幅图像上的连续函数，在极值点必须满足欧拉-拉格朗日方程；同时，在极值点对相机投影矩阵参数的偏导数为0；在图像的离散格点上，联合欧拉-拉格朗日方程和对相机投影矩阵参数偏导数为0的两类方程，并采用增量方式表示形式，能够把求解相机投影矩阵和三维场景深度增量的迭代过程转化为求解如下线性方程组

Hδθ+b＝0   （6）

其中向量θ由相机投影矩阵P_i2≤i≤n和三维场景的深度q按次序构造而成；这样，每次迭代归结为求解

δθ＝-H^-1b   （7），

从而确定相应的增量δP_i和δq；根据所求解的增量更新参数P_i和q，P_i←δP_i+P_i，q←δq+q，直到收敛；

即算法1的具体过程为：

输入：n幅图像，初始化三维场景的深度q和相机投影矩阵P_i，2≤i≤n；

输出：相机投影矩阵P_i(2≤i≤n)、三维场景的深度q和场景的三维表示；

1、迭代

1)、由欧拉-拉格朗日方程和目标函数对相机投影矩阵参数的偏导数为0确定式子（7）中的H和b；

2)、由式子（7）计算增量δθ，并确定相应的增量δP_i和δq；

3)、更新参数P_i，2≤i≤n和q：P_i←δP_i+P_i，q←δq+q；

直到收敛

2、根据收敛后的三维场景的深度q，由式子（1）计算场景的三维表示。