[发明专利]一种获取全景图像的方法及装置

说明书

技术领域

本发明涉及图像处理领域，尤其涉及一种获取全景图像的方法及装置。

背景技术

鱼眼镜头是模拟水下鱼类仰视水面效果的一种超广角镜头，其典型视场角为180°，还有的超过180°、大于220°，甚至达到270°。鱼眼镜头的好处很多：视角大，可容纳场景多，且可以适应狭小空间拍摄，因此在虚实景技术、机器人导航、视觉监控等许多计算机视觉领域中被广泛应用。

由于鱼眼镜头拍摄的图像视角较大，因此拼接成360°的全景图像只需要鱼眼镜头拍摄2-3张图像即可，因此，在全景内容制作，例如全景虚拟现实VR(Virtual Reality)视频制作中，鱼眼镜头得到了越来越多的使用。但是，采用鱼眼镜头拍摄的图像由于视角超广，因此其桶形弯曲畸变非常大，画面周边的成像呈现严重变形，直线弯曲，只有镜头中心部分的内容可以保持原来的状态。所以这类鱼眼图像虽能够包含较多的场景信息，但却不能显示重要的细节问题，因此使用这些畸变鱼眼图像进行全景图像拼接时需要进行畸变校正处理。

目前在利用鱼眼镜头图像进行全景图像拼接时，图片处理软件一般都是在平面坐标系下根据待拼接图像估计鱼眼镜头参数，然后建立模型进行矫正拼接获取平面的全景图像，最后把拼接后的平面的全景图像进行球面映射即将平面的全景图像贴在球上进行全景显示。由于相机镜头参数估计的不准确性，导致平面坐标系下存在的畸形很难被矫正，从而后面拼接融合后的图像有接缝拼不上的情况，拼接精度较低，拼接的图像效果会受到很大影响。

发明内容

本发明实施例提供一种获取全景图像的方法及装置，用以提高鱼眼镜头全景图像的拼接精度。

本发明方法包括一种获取全景图像的方法，该方法包括：

利用双鱼眼镜头拍摄得到两幅鱼眼图像，其中，所述双鱼眼镜头为背对设置的两个镜头，且两个镜头的视场角之和大于等于360度；

将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中；

从映射后的每个鱼眼图像中提取特征点，并将提取到的特征点进行匹配得到特征点匹配对；

利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵；

利用所述变换矩阵将映射后的两幅鱼眼图像转换到同一个球面模型中；

将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像。

进一步地，所述双鱼眼镜头包括第一鱼眼镜头和第二鱼眼镜头；

所述两幅鱼眼图像包括所述第一鱼眼镜头拍摄得到的第一鱼眼图像，所述第二鱼眼镜头拍摄得到的第二鱼眼图像；

将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中之前，还包括：

利用种子生长法对所述两幅鱼眼图像进行扫描，确定所述第一鱼眼图像和所述第二鱼眼图像的有效圆形区域；

所述将所述两幅鱼眼图像从平面坐标系映射到各自的球面模型中，包括：

根据平面坐标系与球面坐标系之间的映射关系，将所述第一鱼眼图像的有效圆形区域从平面坐标系映射到第一球面模型中，并所述第二鱼眼图像的有效圆形区域从平面坐标系映射到第二球面模型中。

进一步地，所述从映射后的每个鱼眼图像中提取特征点，包括：

构建Hessian矩阵，基于Hessian矩阵行列式的判别式det(H)取值的符号确定出H(f(x,y))处的极值点和极值点的坐标，其中，(x,y)为鱼眼图像的像素点的坐标；

所述将提取到的特征点进行匹配得到特征点匹配对，包括：

利用最近邻匹配法判定当一对极值点的欧氏距离小于设定阈值时，将该对极值点作为一组特征点匹配对。

进一步地，所述利用所述特征点匹配对确定映射后的两幅鱼眼图像之间的变换矩阵，包括：

根据确定出来的多个特征点匹配对的坐标，按照公式一进行求解，得到所述两幅鱼眼图像之间的变换矩阵；

所述公式一为：

其中，(x,y,z)、(x’,y’,z’)为每组特征点匹配对的球面坐标，为待求解的变换矩阵。

进一步地，所述将同一个球面模型中的两幅鱼眼图像进行拼接，获取拼接后的球面全景图像，包括：

用K-D树搜索同一个球面模型中的两幅鱼眼图像的最近邻和次近邻距离，并将搜素得到的距离作为权重，采用加权平均的方法对所述两幅图像的特征点进行配准，从而实现对两幅鱼眼图像进行拼接，得到拼接后的球面全景图像。