[发明专利]一种大量图片在三维场景中的视点标定方法

摘要

本发明公开了一种大量图片在三维场景中的视点标定方法，包括以下步骤：1，数据准备，准备好场景中需要标定的多张图片，以及其对应的网格三维模型；2，图片的自标定，在整个图片集上运行SfM算法，恢复出场景的点云三维模型，以及每张图片关于点云三维模型的相机内外参数；3，校准点云三维模型和网格三维模型，在两个模型上分别标定6个以上对应点后，使用数值优化的方法求解两个模型之间的变换；4，确定图片在网格三维模型下的相机内外参数，利用变换的传递性质，得到图片在网格三维模型下的拍摄参数；5，渲染和评价，将相机参数应用于原模型进行渲染，并比较算法的效果。

主权项

1.一种大量图片在三维场景中的视点标定方法，其特征在于，包括以下步骤：步骤1，数据准备：选定一个场景相关的摄影图片及对应的网格三维模型；步骤2，图片之间的自标定：对摄影图片应用SfM算法，得到场景的部分点云三维模型，并推断出每张摄影图片在该点云三维模型下的相机内外参数；步骤3，校准点云三维模型和网格三维模型；步骤4，确定摄影图片在网格三维模型下的相机内外参数：利用校准点云三维模型和网格三维模型变换的传递性质，求得摄影图片在网格三维模型下的拍摄参数；步骤5，将每对拍摄参数分别应用于网格三维模型上进行渲染，生成结果图片；步骤1包括以下步骤：步骤1‑1，选定一个场景，从互联网上获取该场景一定量的摄影图片；步骤1‑2，获取该场景的网格三维模型，使用3DS Max导出为Wavefront OBJ格式保存；步骤2包括以下步骤：步骤2‑1，对获取的每张摄影图片使用SIFT算法提取特征点，每个特征点表示为一个128维的特征向量，该特征向量用于检测两幅摄影图片之间是否有匹配关系；步骤2‑2，检测两幅摄影图片之间是否有匹配关系：计算每张图片的SIFT特征点，通过特征向量来计算不同图片中特征点之间的距离来确定这两张图片之间是否有匹配关系；每一张摄影图片i都对应一个相机，一个相机的参数有7个参数来描述，分别是具有三个分量的旋转向量Θi＝[θi1θi2θi3]，一个具有三个分量的平移向量ti＝[ti1ti2ti3]和焦距fi；如果两幅摄影图片中有相同的点p，则该点p和两个相机的中心位置O1以及O2是共面的，因此得到极线约束uiTFijuj＝0，其中参数ui和uj分别存放着点p在摄影图片i中的坐标位置和点p在摄影图片j中的坐标位置，Fij为摄影图片i和摄影图片j之间构成的基础矩阵，对任意两幅摄影图片使用RANSAC方法对极线约束求出基础矩阵，由此基础矩阵计算出两幅摄影图片之间检测出的SIFT特征点相对应的个数ninliers，当ninliers＞nmatch，则判定这两幅摄影图片之间有匹配关系，nmatch的取值为常量；步骤2‑3，从所有匹配摄影图片中的SIFT特征点匹配最多的两幅摄影图片开始一个一个地加入相机，每一个特征匹配的联通部分定义了一个三维点Xj，误差函数e如下式所示定义为投影的三维点和检测的特征点之间的平方和：e＝∑i∈I∑j∈X(i)f(rij)2，其中I是所有摄影图片的集合，X(i)是投影到摄影图片i上的三维点的集合，函数f(rij)是一个鲁棒性误差函数，rij是检测出来的摄影图片i和摄影图片j之间互相匹配的特征点的位置和投影的三维点之间的差值，如下式所示：rij＝mij‑uij，其中mij是检测的特征点的位置，uij是三维点Xj在摄影图片i上的投影点，通过下式计算：uij＝Ki(RiXj+ti)，其中，Ki是摄影图片i对应的相机的投影矩阵，Ri是图片i对应的旋转矩阵，ti为图片i对应的平移向量，使用莱文贝格‑马夸特算法来解决这个非线性的最小平方问题，每一次的迭代都具有如下形式：其中Φ＝[Θ，X]是由相机参数Θ和结构化参数三维点坐标X所组成的向量，r是向量剩余值，J是一个M×N的雅克比矩阵，M是测量数据的数量即检测数的SIFT特征点数量的2倍，N＝n_Θ+n_X，n_Θ表示相机参数的数量，n_X表示结构参数三维点的数量，C_prior为一个先验的协方差矩阵，直接求出Φ，得出每个摄影图片对应的相机参数；步骤2‑4，通过摄影图片对应的相机参数，恢复出点云三维模型：选取其中的一个相机作为标准的坐标系，通过相机参数得到特征点的平面坐标，从而恢复出点云三维模型。