[发明专利]利用离散立方体全景图实时合成连续平滑全景视频的方法

摘要

本发明公开了一种利用离散立方体全景图实时合成连续平滑全景视频的方法，该方法包括：对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；实现立方体全景图的实时插值，在已有三角网格对应关系基础上，估计在新相机位置的待插值三角网格组成，并基于单应矩阵对新视角三角网格进行填色。与现有技术相比，将立方体全景图投影到球面域，并在球面域采取“匹配-三角剖分-插值”的策略，不仅简化了插值处理的复杂度，并有效的提高了插值的视觉效果。

主权项

1.一种利用离散立方体全景图实时合成连续平滑全景视频的方法，其特征在于，该方法包括以下步骤：步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它和金字塔同层的8个相邻像素以及金字塔上下两层对应的18个像素进行比较，检测它是否是极值点，将检测到的极值点作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，即将空间尺度函数进行泰勒展开对该式求导，并令其为0得到特征点的精确位置再剔除低对比度和边缘响应的特征点；通过特征点邻域内像素的梯度信息确定特征点的主方向；根据特征点的位置、尺度、主方向信息在对应邻域内计算梯度直方图，作为特征点的128维的特征描述符；将立方体全景图六个面上检测到的特征点放到一起作为该图的特征点集，实现立方体全景图的SIFT特征点检测；步骤二、将完成特征点检测的两个立方体全景图中第一个立方体全景图的特征点描述符放入k-d树树形结构中；以第二个全景图上的每个特征点为依据，借助树形结构查找其中与第一个全景图最相似的特征点，得到匹配特征点；步骤三、随机选取8组步骤一得到的匹配特征点，利用8点法计算基础矩阵F，假设一组匹配点为x＝(x，y，1)^T和x′＝(x′，y，1)^T，F＝[f₁₁ f₁₂ f₁₃；f₂₁ f₂₂ f₂₃；f₃₁ f₃₂ f₃₃]，则满足x′xf₁₁+x′yf₁₂+x′f₁₃+y′xf₂₁+y′yf₂₂+y′f₂₃+xf₃₁+yf₃₂+f₃₃＝0；由于将f₃₃规整为1，当有8组匹配点时，得到8个上述方程，则基础矩阵F被完全确定下来；计算每组匹配点的几何误差ϵgeo=(x′TFx)2||Fx||2+||FTx′||2,---(1)]]>其中x和x′为匹配的特征点在各自图像上的坐标，F为计算得到的基础矩阵；将几何误差小于0.001的匹配点放到一致集S中，并计算一致集S中每组匹配特征点之间的角度α以及角度的均值μ_s和标准差σ_s，从而可得到角度误差，ϵang=|α-μs|σs,---(2)]]>角度误差小于0.95的匹配点组成内点集合I；重复以上过程：即根据随机选取的8组匹配点估计基础矩阵，并计算几何误差和角度误差的过程，直至角度误差不变，在前述的误差处理之后，再根据匹配特征点，利用最小二乘法重新估计基础矩阵F；通过重新估计的基础矩阵F和相机矫正矩阵K计算本质矩阵E＝K^TFK；对本质矩阵进行奇异值分解得E＝Udiag(1，1，0)V^T，则第一个相机矩阵为P＝[I 0]，第二个相机矩阵可能的选择为P′＝[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃]；选择使重构点同时落在相机前面的相机矩阵，完成对相机相对位置参数的鲁棒估计；步骤四、基于匹配点组成的内点集合I，采用凸包剖分的方法，在球面域内对第一张立方体全景图进行三角网格剖分，并将剖分的拓扑关系应用到第二张全景图；步骤五、对第二张全景图的三角网格进行遮挡检测，即判断所述三角形网格间是否存在重叠；对于包含重叠的区域，使用gnomonic投影的方法将其投影到二维平面，然后采用带边约束的Delaunay三角形化方法对该区域进行三角剖分；重复以上过程直到所产生的三角网格不存在重叠现象，实现三角网格的遮挡处理；步骤一至步骤五，实现对所输入的两张连续的立方体全景图，通过特征点检测、特征匹配，在球面域上构建立方体全景图的三角网格剖分实现立方体全景图的预处理；步骤六、利用线性三角形法计算对应场景点的三维坐标；将场景点的三维坐标投影到新相机位置的球面域上，得到待插值全景图关键点的球面坐标及由该球面坐标确定的球面三角形；具体而言，根据相机相对位置参数估计，对待插值相机的位置C″和朝向R″进行插值，其中位置采用线性插值：C″＝tC′+(1-t)C;（3）其中t∈[0，1]为插值参数，即t＝0时，待插值相机与第一个相机的参数相同，t＝1时与第二个相机的参数相同；朝向采用四元数球面线性插值：q′′=slerp(q,q′;t)=sin(1-t)θsinθq+sin(tθ)sinθq′,---(4)]]>其中q和q′为R和R′对应的四元数，θ＝arccos(q·q′)，t∈[0，1]为插值参数；对每组匹配点x和x′，利用线性三角形法计算对应场景点的三维坐标X；将场景点投影到新相机位置的球面域上，得到待插值全景图上特征点的坐标，X′′=R′′(X-C′′)||R′′(X-C′′)||;---(5)]]>步骤七、为每个球面三角形建立虚拟相机，计算球面三角形对应的局部坐标及虚拟相机矩阵，假设三角形用ABC表示，将局部坐标系的原点设在点A，x轴设为AB，则三角形的局部坐标为xAxBxC=0|B-A|cosθ|C-A|00sinθ|C-A|;---(6)]]>该三角形对应的旋转矩阵为R_t＝[r，u，1]^T,（7）其中r为局部坐标系x轴的方向，l为三角形所在平面的垂线方向，u为r和l的叉积；三角形对应虚拟相机的矫正矩阵为Kt=f0px0fpy001,---(8)]]>其中f为球心到垂足的距离，p_x和p_y为垂足在局部坐标系的坐标；然后，计算三角形所对应的虚拟相机的相机矩阵：P_t＝K_tR_tR[I -C]；（9）对待插值全景图及输入全景图对应的每一组三角形对，基于三角形顶点坐标及虚拟相机矩阵估计出两者间的单应矩阵H_h[1]，连接相机中心和三角形顶点得反向投影射线，计算射线的交点得三维世界中的场景点；根据3组场景点和对应的图像特征点，计算变换矩阵H₁，则H_h＝P′H₁；步骤八、对待插值全景图上的每个像素，确定它落在三角形网格的哪个三角形上，判断像素点是否落在某个三角形上，确定好对应的三角形后，计算每个像素在该三角形局部坐标系中的坐标：X_p＝[X_A，X_B，X_C][x_A，x_B，x_C]^-1x_p，（10）其中，x_p为该像素对应的三维坐标，x_A，x_B，x_C为对应三角形顶点坐标，X_A，X_B，X_C是三角形顶点的局部坐标；根据三角形信息选取相应的单应矩阵，利用单应矩阵计算该像素在输入全景图上对应点的坐标；将来自两张输入全景图上对应点的颜色进行融合作为待插值全景图像素的颜色，C＝aC₁+(1-a)C₂，（11）在该步骤中，利用硬件光栅化对该操作进行加速：将待插值全景图上关键点的坐标以及三角邻接信息装配成顶点序列，放入DirectX的顶点缓存进行渲染，得到关键点的三角形ID索引表，根据索引表中存储的ID值来选取相应的单应矩阵；步骤六至步骤八实现立方体全景图的实时插值，在已有三角网格对应关系基础上，估计在新相机位置的待插值三角网格组成，并基于单应矩阵对新视角三角网格进行填色。