[发明专利]一种3D全景拍摄系统以及方法

说明书

本发明公开了一种3D全景拍摄系统以及方法，系统包括：多个3D影像采集单元，用于获取包含彩色影像信息的彩色图和包含深度影像信息的深度图，多个3D影像采集单元的视场拼接后覆盖所需要的拍摄区域，相邻两个采集单元的视场在拼接处部分重叠；全景拼接处理单元，用于对多个3D影像采集单元的影像信息进行拼接处理，生成3D全景影像。本发明通过多个3D影像采集单元的视场拼接，再对多个3D影像采集单元的影像信息进行拼接处理，即可生成3D全景影像，这种3D全景拍摄的系统简单，且可以提升全景处理的精度和速度，由于通过增加深度信息形成3D影像，每个像点具有完整的三维空间信息，可以实时重构3D场景，便于VR快速建模，并可以方便地应用于VR、AR交互。

技术领域

本发明涉及虚拟现实，尤其涉及一种3D全景拍摄系统以及方法。

背景技术

360度全景拍摄是VR影像内容的重要来源，现有的全景拍摄主要是2D全景拍摄和立体全景影像拍摄。2D全景影像没有立体感，立体全景影像拍摄原理与双目立体影像拍摄原理相同，空间每个点在立体全景图中对应左右眼分别有一个像点，根据左右眼视差原理可以给人立体感。但是立体全景图中只有颜色信息，不包含像点对应的空间深度信息。基于左右眼图像实时还原像点的深度信息也有很大难度。没有完整空间信息的全景影像主要是用于沉浸式观看，很难进行虚实交互。另外完全基于色度信息的图像拼接，精度和速度也不够。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种3D全景拍摄系统以及方法。

本发明解决其技术问题所采用的技术方案是：构造一种3D全景拍摄系统，应用于VR成像，包括：

多个3D影像采集单元，用于分别获取包含彩色影像信息的彩色图和包含深度影像信息的深度图，多个3D影像采集单元的视场拼接后覆盖所需要的拍摄区域，相邻两个采集单元的视场在拼接处部分重叠；

全景拼接处理单元，用于对多个3D影像采集单元的影像信息进行拼接处理，生成3D全景影像。

在本发明所述的3D全景拍摄系统中，所述全景拼接处理单元包括：

特征点提取单元，用于在两幅相邻的彩色图的拼接侧分别提取匹配特征点；

特征点深度信息计算单元，用于分别为两幅相邻的深度图中的匹配特征点计算对应的深度信息；

特征点筛选单元，用于基于计算的深度信息对匹配特征点进行筛选，筛除超过深度偏差容许度的匹配特征点；

彩色图拼接单元，基于筛选后的匹配特征点进行两幅彩色图的融合处理，得到拼接彩色图；

深度图拼接单元，基于筛选后的匹配特征点进行两幅深度图的融合处理，形成与拼接彩色图对应的深度图。

在本发明所述的3D全景拍摄系统中，所述的融合处理包括：基于匹配特征点将两幅彩色图/深度图对齐以确定重叠区域，针对重叠区域采用平滑过渡的方法进行融合。

在本发明所述的3D全景拍摄系统中，所述全景拼接处理单元还包括插值处理单元，用于在彩色图和深度图的分辨率不同时，采用插值方式建立彩色影像信息和深度影像信息的对应关系。

在本发明所述的3D全景拍摄系统中，每个3D影像采集单元具有一个光心轴线，多个3D影像采集单元的光心轴线交于空间中的一个中心点，每个3D影像采集单元均采用背离所述中心点的方向布置，且相同规格的3D影像采集单元布置在与所述中心点距离相等的位置。

在本发明所述的3D全景拍摄系统中，所述3D影像采集单元包括用于获取彩色图的一个或两个彩色影像采集模块和用于获取深度图的一个或两个深度影像采集模块；