[发明专利]一种空气和水下两用360°全景图像拼接方法

说明书

本发明提供了一种空气和水下两用360°全景图像拼接方法，同时考虑了全景镜头置于空气和水下环境中时，全景图像坐标系与两个相机图像传感器像素坐标系之间的对应关系，根据对应关系，对两幅图像进行拼接，可以在多样化环境中生成正确的360°全景图像，拓展了全景镜头的使用场景；通过将像高h_i(θ)从简单的线性关系修正为多项式形式，可克服鱼眼镜头的畸变问题，使得拼接图像更加精确。

技术领域

本发明属于光学成像技术领域，具体涉及一种空气和水下两用360°全景图像拼接方法。

背景技术

360°全景图像通常由两个视场角大于180°的鱼眼镜头拍摄的图像拼接生成，要生成正确的全景图像，需要对两个相机的内部参数和外部参数进行标定，并建立两个相机图像传感器像素坐标系与全景图像坐标系之间的对应关系。

文献“Design and assessment of a 360°panoramic and high-performancecapture system with two tiled catadioptric imaging channels,Applied Optics,2018.”中提出了一种全景图像拼接算法，文中首先标定了两个相机图像传感器像素坐标系与世界坐标系之间的关系，进一步获得两个相机坐标系之间的位置关系，之后建立全景图像坐标系，计算两个相机坐标系与全景图像坐标系之间的对应关系，根据对应关系，对两幅图像进行拼接，获得360°全景图像。

由于水的折射率大于空气折射率，当全景镜头放置于水下环境中时，视场角以及各视场角下的像高均会发生变化，原有的计算参数不再适用，需要重新标定相机的内部参数与外部参数，获得水下全景图像坐标系与两个相机图像传感器像素坐标系之间的对应关系，以在水下生成正确的全景图像。技术一中的360°全景图像拼接方法仅考虑了全景镜头置于空气中的情况，该拼接方法不适用于水下全景图像生成。

发明内容

有鉴于此，本发明的目的是提供一种空气和水下两用360°全景图像拼接方法，可以在多样化环境中生成精确的360°全景图像。

一种空气和水下两用360°全景图像拼接方法，包括：

第一步，利用相机在的内部参数建立两个相机坐标系(x_ci,y_ci,z_ci)^T与像素坐标系(x_pi,y_pi)^T之间的对应关系：

其中i＝1,2分别表示相机1和相机2；p_xi，p_yi表示传感器像素在x和y方向的尺寸；

(x_0i,y_0i)^T表示传感器中心像素的像素坐标；h_i(θ)表示各视场角θ下对应的像高，其为关于θ的多项式：

h_i(θ)＝f₁θ+f₂θ²+... (3)

根据全景镜头在空气中或水中的光学参数设计值，得到多对(θ,h_i(θ))的对应值，通过多项式拟合方法，得到多项式系数f₁，f₂，…；

第二步，基于两个相机的内部参数的初始值，利用角点法以及最小二乘法计算相机的外部参数，从而建立两个相机坐标系(x_ci,y_ci,z_ci)^T与世界坐标系(X_W,Y_W,Z_W)^T之间的对应关系；