[发明专利]基于GPS信息视频的三维场景重建方法

摘要

本发明公开了一种基于GPS信息视频的三维场景重建方法，其特征是按如下步骤进行：1、构建基于GPS信息的FOV模型集合并去除冗余帧数据；2、构建重建帧矩阵；3、抽取关键帧；4、三维重建所述目标场景。本发明能快速准确地提取视频关键帧，从而提高三维场景重建方法的精度和效率。

主权项

一种基于GPS信息视频的三维场景重建方法，其特征是按如下步骤进行：步骤1、构建基于GPS信息的FOV模型集合并去除冗余帧数据：步骤1.1、利用带有摄像头和GPS功能的移动设备获取含有GPS信息的M帧目标场景的视频数据，所述GPS信息包括：摄像头的经纬度向量、摄像头的仰角和摄像头的视角，由所述M帧视频数据构建M个FOV模型三元组，从而构建基于GPS信息的FOV模型集合，记为1≤m≤M；表示第m帧视频数据的FOV模型三元组；并有：p_m∈R^2×1表示第m帧视频数据所对应的摄像头的经纬度向量；θ_m表示第m帧视频数据所对应的摄像头的仰角；η_m表示第m帧视频数据所对应的摄像头的视角；步骤1.2、利用式(1)去除所述M帧视频数据中不含有所述目标场景的冗余帧数据，从而获得N帧剩余帧数据：式(1)中，表示所述目标场景的经纬度向量，表示第m帧视频数据所对应的摄像头的经纬度向量到所述目标场景的经纬度向量之间的角度；步骤2、构建重建帧矩阵Q：步骤2.1、利用图像特征提取方法获取所述N帧剩余帧数据的颜色特征向量和HOG特征；并由所述N帧剩余帧数据所对应的摄像头的经纬度向量、颜色特征向量和HOG特征构建所述N帧剩余帧数据的联合特征矩阵P；并有：所述联合特征矩阵P的转置矩阵P^T∈R^d×N；表示第n帧剩余帧的联合特征向量；d表示所述联合特征向量的维度；并有：1≤n≤N；p_n表示第n帧剩余帧摄像头的经纬度向量；表示第n帧剩余帧图像的颜色特征向量；表示第n帧剩余帧图像的HOG特征；步骤2.2、采用最小二乘方法对式(2)进行求解，获得重建贡献矩阵W，W∈R^N×N；目标函数：$W=\underset{w}{\arg }\min {\mathrm{\Σ}}_{i=1}^N\left|\right|{\stackrel{\→}{\mathrm{\α}}}_i-{\mathrm{\Σ}}_{j=1}^N{w}_{\mathrm{ij}}{\stackrel{\→}{\mathrm{\α}}}_j\left|\right|---\left(2\right)$约束条件：w_ij＝0             (3)${\mathrm{\Σ}}_{j=1}^N{w}_{\mathrm{ij}}=1---\left(4\right)$式(2)中，w_ij表示所述重建贡献矩阵W的第i行第j列元素；表示所述第i帧剩余帧的联合特征向量；f_j表示所述第j帧剩余帧；Ψ(f_i)表示在第i帧剩余帧f_i在所述M帧视频数据中所对应帧的领域帧集合，1≤i≤N；式(3)表示第j帧剩余帧f_j不属于第i帧剩余帧f_i的领域帧集合时，所述重建贡献矩阵W的第i行第j列元素w_ij＝0；式(4)表示重建贡献矩阵W的第j列各元素满足归一化约束；步骤2.3、利用式(5)构建重建代价矩阵U：U＝(I‑W)^T(I‑W)      (5)式(5)中，I表示对角线为1的对角矩阵；U,I∈R^N×N；步骤2.4、选择所述N帧剩余帧的前χ帧数据作为候选关键帧，并利用式(6)获得重建选择帧矩阵Γ的第u行第u列元素e_u,u，从而获得重建选择帧矩阵Γ；$e_{u,u}=\left\{\begin{array}{cc}1& \mathrm{if}(u\∈\{\mathrm{1,2},...,\mathrm{\χ}\left\}\right)\\ 0& \mathrm{else}\end{array}\right.---\left(6\right)$式(6)中，所述重建选择帧矩阵Γ为对角矩阵；Γ∈R^N×N；步骤2.5、利用式(7)获得重建帧矩阵Q，Q∈R^N×d：Q＝(μU+Γ)^‑1ΓP            (7)式(7)中，μ表示正则化参数；步骤3、抽取关键帧：步骤3.1、定义第一轮抽取次数为t；并初始化所述第一轮抽取次数t＝0；0≤t≤χ；定义第t次抽取关键帧集合为F_t，并初始化所述第t次抽取关键帧集合F_t为空；步骤3.2、利用式(8)获得所述第一轮第t次抽取的选择矩阵Λ_t的第v行第v列元素从而获得选择矩阵Λ_t：$e_{v,v}^t=\left\{\begin{array}{cc}1& \mathrm{if}(v\∈F)\\ 0& \mathrm{else}\end{array}\right.---\left(8\right)$式(8)中，选择矩阵Λ_t为对角矩阵，Λ_t∈R^N×N；步骤3.3、利用式(9)获得抽取过渡矩阵H_t，H_t∈R^N×N：H_t＝(μU+Λ_t)^‑1              (9)步骤3.4、将t+1的值赋值给t；步骤3.5、利用式(10)在所述剩余帧集合中抽取第t帧关键帧f_t：$f_t=\underset{f_t\∉F_{t-1}}{\arg \min }\frac{1}{1+H_{\mathrm{\τ\τ}}^t}(\frac{H_{\mathrm{\τ}*}^t{H}_{*\mathrm{\τ}}^t{H}_{\mathrm{\τ}*}^{t}U{\mathrm{QQ}}^T{\mathrm{UHH}}_{*\mathrm{\τ}}^t}{1+H_{\mathrm{\τ\τ}}^t}-2H_{\mathrm{\τ}*}^t{\mathrm{UQQ}}^T{\mathrm{UHH}}_{*\mathrm{\τ}}^t)---\left(10\right)$式(10)中，F_t‑1表示第t‑1次抽取的抽取关键帧集合表示所述抽取过渡矩阵H_t的第τ个行向量；表示所述抽取过渡矩阵H_t的第τ个列向量；表示所述抽取过渡矩阵H_t的第τ行第τ列元素；步骤3.6、利用式(11)获得第t次抽取关键帧集合F_t：F_t＝F_t‑1∪{f_t}           (11)步骤3.7、重复执行步骤3.2‑步骤3.6，直到所述第一轮抽取次数t＝L，从而获得第L次抽取关键帧集合F_L＝{f₁,...,f_l,...,f_L}；1≤l≤L；f_l表示所述第一轮第l次抽取的关键帧；L为所设定的抽取次数，并有1≤L≤χ；步骤4、三维重建所述目标场景：步骤4.1、获得所述第L次抽取关键帧集合F_L中各关键帧的FOV模型三元组$\{{\stackrel{\→}{f}\mathrm{ov}}_{f_1},...,{\stackrel{\→}{f}\mathrm{ov}}_{f_l},...,{\stackrel{\→}{f}\mathrm{ov}}_{f_L}\};$步骤4.2更新关键帧，从而获得更新的抽取关键帧集合F_b'＝{f′₁,...,f′_s,...,f′_S}，1≤s≤S；步骤4.3再次更新关键帧，从而获得再次更新的抽取集合F″_c＝{f″₁,...,f″_k,...,f″_K}；1≤k≤K；步骤4.4、将所述再次更新的抽取关键帧集合F″_c＝{f″₁,...,f″_k,...,f″_K}及所述再次更新的抽取关键帧集合F″_c所对应的FOV模型集合输入到CMVS系统中映射成聚类的视图；根据所述聚类的视图，采用PMVS2系统生成定向点，从而利用所述定向点重建所述目标场景的三维场景。