[发明专利]基于多目全景图像的模型生成方法及装置

说明书

本发明提供一种基于多目全景图像的模型生成方法，其包括：获取参考图像以及对应的多个源图像；计算源图像和参考图像的图像矫正旋转矩阵；提取参考图像的参考图像特征以及源图像的源图像特征，并基于参考图像特征以及源图像特征计算参考图像与所述源图像的代价体；得到源图像与参考图像的矫正代价体；对参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体；基于最终代价体，计算参考图像在设定分辨率下的相差分布估计，并计算设定分辨率下的估计相差；对参考图像在每一层分辨率下的估计相差进行融合，得到参考图像的最终相差；基于参考图像的最终相差生成参考图像的深度图，并根据深度图构建对应的立体视觉模型。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于多目全景图像的模型生成方法及装置。

背景技术

传统的多视角立体视觉，通常采用单目相机在多个预先调校的空间位置进行图像采样。设某参考视角产生的图片为参考图片，所有与该视角有重合的视角产生的图片为源图片。传统MVS（Mult-view Stereo，多视点三维重建）算法通常通过寻找参考图片中的像素点/特征点在所有源图片中的匹配点，来确定点之间联系，通常使用相差标示。基于该联系，通过三角化关系，可以进一步计算得出参考图片中每一像素点的深度数值。该深度数值通过传统多视角融合算法融合，最终可产生该场景的立体视觉模型。

但是上述方法中寻找匹配点的操作对计算资源消耗较大，且如果匹配点准确度较低可能导致后续生成的立体视觉模型的精准度较差。

故，有必要提供一种基于多目全景图像的模型生成方法及装置，以解决现有技术所存在的问题。

发明内容

本发明实施例提供一种对计算资源消耗较低且生成模型的精准度较高的模型生成方法及模型生成装置；以解决现有的模型生成方法及模型生成装置的计算资源消耗较大且生成模型的精准度较差的技术问题。

本发明实施例提供一种基于多目全景图像的模型生成方法，其包括：

获取参考图像以及对应的多个源图像，其中所述源图像与所述参考图像具有重合视角；

获取所述源图像的源相机参数以及所述参考图像的参考相机参数，并基于所述源相机参数以及所述参考相机参数，计算所述源图像和所述参考图像的图像矫正旋转矩阵；

提取所述参考图像的参考图像特征以及所述源图像的源图像特征，并基于所述参考图像特征以及所述源图像特征计算所述参考图像与所述源图像的代价体；

使用所述图像矫正旋转矩阵对所述代价体进行坐标系转换，得到所述源图像与所述参考图像的矫正代价体；

对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体；

基于所述最终代价体，计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差；

对所述参考图像在每一层分辨率下的估计相差进行融合，得到所述参考图像的最终相差；

基于所述参考图像的最终相差生成所述参考图像的深度图，并根据所述深度图构建对应的立体视觉模型。

在本发明所述的基于多目全景图像的模型生成方法中，基于以下公式计算所述源图像和所述参考图像的图像矫正旋转矩阵：

其中R₀为所述参考图像的旋转矩阵，t₀为所述参考图像的平移矩阵，R₁为对应的源图像的旋转矩阵，t₁为对应的源图像的旋转矩阵，R为所述源图像和所述参考图像的图像矫正旋转矩阵。

在本发明所述的基于多目全景图像的模型生成方法中，基于以下公式计算所述参考图像与所述源图像的代价体：