[发明专利]一种多鱼眼镜头全景摄像机的实时视频拼接方法

说明书

本发明提供了多鱼眼镜头全景摄像机的实时视频拼接方法，包括：对每个鱼眼镜头的内部参数和鱼眼镜头两两之间的外部参数进行标定，得到内部参数和外部参数；将每个鱼眼镜头拍摄的原始图像通过内部参数校正为小孔成像模型图像，得到二者之间的位置关系；将小孔成像模型图像通过外部参数映射到三维单位球上形成球面图像，并将其投影到平面上得到全景图像，得到原始图像与全景图像的位置关系；根据全景图像中各图像的边界计算图像的重叠区域，得到重叠区域的中间线之后，求取各图像在重叠区域的权重；建立原始图像与全景图像的位置关系与权重参数映射表并将其事先加载在内存中；在实时拼接的过程中调用位置关系与权重参数映射表进行视频的拼接。

技术领域

本发明涉及计算机图像处理领域，具体涉及光学图像的计算机处理。

更具体而言，本发明涉及多鱼眼镜头全景摄像机的实时视频拼接方法，但不限于此。

背景技术

鱼眼镜头作为超广角特殊镜头的代表，其以极短焦距和接近或能达到180°的视角为特点，所视超出人眼所能看到的范围。多组鱼眼镜头同时成像可得到视点周围360°环境的完整影像，对这些图像进行实时无缝拼接是实现场景实时共享的必须技术。

传统的拼接技术通过将多幅图像转换为同一投影，通过提取相邻影像重叠区域的特征信息，构建影像的位置关系，对影像进行移位操作使得相邻影像重合并采用相应融合手段消除拼接缝得到无缝全景影像。这种传统的技术路线普遍适用，但难以达到实时性要求。因此，如何改进传统方法，在保证拼接效果的基础上满足实时性需求是当下最该讨论的问题。

将多组鱼眼镜头固定在同一个三脚架上，便于多组镜头同时从不同角度拍摄具有一定重叠区域的图片。因此，多组镜头之间的位置关系、相邻影像的重叠区域可提前确定，这就为后期拼接节省了大量的时间。根据这些已知信息，通过一定技术手段实现实时多组图片投影转换和拼接，是现有技术中亟待解决的问题。

因此，随着技术和应用场合的发展和变化，本领域中急需针对多鱼眼镜头全景摄像机的实时视频拼接提供改进的方法，以克服现有技术中的以上技术缺陷以及其它技术问题。

本发明的说明书的此背景技术部分中所包括的信息，包括本文中所引用的任何参考文献及其任何描述或讨论，仅出于技术参考的目的而被包括在内，并且不被认为是将限制本发明范围的主题。

发明内容

鉴于以上所述以及其它更多的构思而提出了本发明。本发明旨在解决以上的技术缺陷和其它的技术问题。

根据本发明的一方面，本发明提出，在多鱼眼镜头全景相机矫正和标定的基础上，基于内存查找表，快速实现多鱼眼镜头的全景相机实时投影拼接。

本发明可利用多个鱼眼镜头组成全景摄像机，在对各个相机的内部参数及外部参数进行标定后，先将鱼眼图像校正为针孔模型图像，再将校正后的图像映射到三维球面上，通过投影得到等矩形投影的全景影像。由于多个摄像机多个镜头的内部参数及外部参数在拍摄过程中都是固定的，因此，在标定内部参数与外部参数之后，直接生成位置关系与权重参数映射表。

然后，在拍摄的过程中通过在设备内存中直接加载位置关系与权重参数映射表，就可以实现在设备上的实时全景视频投影拼接。

为了解决上述技术问题，根据本发明的一方面，本发明提供一种多鱼眼镜头全景摄像机的实时视频拼接方法，包括：

步骤一：将多鱼眼镜头全景摄像机各镜头进行内部参数标定，对多鱼眼镜头全景摄像机各镜头之间关系的外部参数进行标定，得到多鱼眼镜头的内部参数与外部参数。通过各个鱼眼镜头的内部参数，将多个鱼眼镜头获取的图像进行校正为小孔成像模型，得到鱼眼镜头原始图像与小孔成像模型图像之间的位置关系；通过外部参数，将多个图像校正后的图像映射到三维单位球上，再将球面图像通过等矩形投影(如图1)的方法投影到平面上，得到例如长宽比为2：1的矩形全景图像，从而可以得到各原始图像与全景图像的位置关系。