[发明专利]基于多目全景图像的模型生成方法及装置

权利要求书

1.一种基于多目全景图像的模型生成方法，其特征在于，包括：

获取参考图像以及对应的多个源图像，其中所述源图像与所述参考图像具有重合视角；

获取所述源图像的源相机参数以及所述参考图像的参考相机参数，并基于所述源相机参数以及所述参考相机参数，计算所述源图像和所述参考图像的图像矫正旋转矩阵；

提取所述参考图像的参考图像特征以及所述源图像的源图像特征，并基于所述参考图像特征以及所述源图像特征计算所述参考图像与所述源图像的代价体；

使用所述图像矫正旋转矩阵对所述代价体进行坐标系转换，得到所述源图像与所述参考图像的矫正代价体；

对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体；

基于所述最终代价体，计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差；

对所述参考图像在每一层分辨率下的估计相差进行融合，得到所述参考图像的最终相差；

基于所述参考图像的最终相差生成所述参考图像的深度图，并根据所述深度图构建对应的立体视觉模型。

2.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，基于以下公式计算所述源图像和所述参考图像的图像矫正旋转矩阵：

其中为所述参考图像的旋转矩阵，为所述参考图像的平移矩阵，为对应的源图像的旋转矩阵，为对应的源图像的平移矩阵，为所述源图像和所述参考图像的图像矫正旋转矩阵；表示旋转矩阵的第一行中的所有元素。

3.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，基于以下公式计算所述参考图像与所述源图像的代价体：

其中c表示特征图的特征度信道数量，h代表特征图宽度，w代表特征图高度，为参考图像的特征图，为所述源图像的特征图，为参考图像与源图像的代价体，其中i为所述代价体的行位置，j为所述代价体的列位置，q为一设定相差值，代表特征图整体延w方向平移q个像素；表示特征图的第i行、第j列的特征参数；表示平移操作后的特征图的第i行、第j列的特征参数。

4.根据权利要求3所述的基于多目全景图像的模型生成方法，其特征在于，通过以下公式计算所述源图像和所述参考图像的矫正代价体：

其中为所述参考图像的旋转矩阵，R为所述源图像和所述参考图像的图像矫正旋转矩阵，为所述源图像和所述参考图像的矫正代价体。

5.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，所述对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体的步骤为：

使用逐元素最大池化操作对所述参考图像对应的多个源图像的矫正代价体进行融合操作，得到最终代价体。

6.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，所述基于所述最终代价体，计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差的步骤为：

基于最终代价体，使用预设神经网络计算所述参考图像在设定分辨率下的相差分布估计，并计算所述设定分辨率下的估计相差；

其中在所述设定分辨率下，所述参考图像中检测物体的尺寸为所述参考图像的尺寸的0.3%至10%。

7.根据权利要求1所述的基于多目全景图像的模型生成方法，其特征在于，通过以下公式生成所述参考图像的深度图：

其中f为所述参考图像对应相机的焦距，b为多目全景图像立体系统中的基线长度，d为估计相差。