[发明专利]全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统

权利要求书

1.全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：包括如下步骤：

S100：寻找目标空间，进行创建全景光学目标空间；

S120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；

S130：创建全景鱼眼摄像机的内部参数校准模型；

S140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；

S150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；

S160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3D全景图像，其包括全景深度信息；

S170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3D全景图形进行比对，对3D全景图形进行校准。

2.根据权利要求1所述的全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：所述图像拼接参数模型包括优化参数，采集内部参数校准模型，所述图像拼接参数模型和空间深度，来自每个所述全景鱼眼摄像机的变换参数模型。

3.根据权利要求1所述的全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：所述优化参数用于优化内部参数校准模型，所述图像拼接参数模型和空间深度借助于机器学习的变换参数模型，其中机器学习所使用的算法包括支持向量机。

4.根据权利要求1所述的全景鱼眼摄像机的图像校准，缝合和深度重建方法，其特征在于：所述优化参数用于更新内部参数校准模型、所述图像拼接参数模型和空间深度转换参数模型。

5.全景鱼眼摄像机的图像校准，缝合和深度重建系统，其特征在于：包括所述全景鱼眼摄像机和三维激光扫描仪，所述全景鱼眼摄像机包括四个鱼眼镜头、四个CMOS传感器模块和全景图像和全景深度信息模块，其中，相邻所述鱼眼镜头的拍摄方向的交角为90度；所述全景图像和全景深度信息模块包括内部参数校准模块和存储在其中的内部参数校准模型，其中，所述内部参数校准模块用于提供坐标变换模型之间的坐标变换模型的所需参数；所述CMOS传感器模块包括图像拼接模块和存储在其中的所述图像拼接参数模型、空间深度变换参数模块和存储在其中的空间深度变换参数模型，其中，所述图像拼接模块用于将所述全景鱼眼摄像机拍摄的全景图像拼接成全景图片，所述空间深度变换参数模块用于在所述全景鱼眼摄像机中提供2D平面图像与3D空间中物体深度之间的变换模型，得到全景深度信息；全景图像中的每个像素和计算模块与用于生成所述全景图像和全景深度信息模块电连接，其中，所述像素和计算模块用于校准和拼接全景图片和全景深度信息，以生成3D全景图像。

6.根据权利要求5所述的全景鱼眼摄像机的图像校准，缝合和深度重建系统，其特征在于：所述计算模块还包括优化模块，与所述优化模块电连接，用于生成全景图像和全景深度信息，其中，所述优化模块可以累积参数数据通过从每个所述全景鱼眼摄像机收集内部参数校准模型，所述图像拼接参数模型和空间深度变换参数模型，然后通过机器学习方法优化参数数据。

7.根据权利要求6所述的全景鱼眼摄像机的图像校准，缝合和深度重建系统，其特征在于：所述机器学习所使用的算法包括支持向量机。

8.根据权利要求5所述的全景鱼眼摄像机的图像校准，缝合和深度重建系统，其特征在于：所述内部参数校准模块、所述图像拼接模块和所述空间深度变换参数模块集成为单个芯片或者可以是单个芯片。