[发明专利]一种3D全景拍摄系统以及方法

权利要求书

1.一种3D全景拍摄系统，应用于VR成像，其特征在于，包括：

多个3D影像采集单元，用于分别获取包含彩色影像信息的彩色图和包含深度影像信息的深度图，多个3D影像采集单元的视场拼接后覆盖所需要的拍摄区域，相邻两个采集单元的视场在拼接处部分重叠；

全景拼接处理单元，用于对多个3D影像采集单元的影像信息进行拼接处理，生成3D全景影像；

其中，所述全景拼接处理单元包括：

特征点提取单元，用于在两幅相邻的彩色图的拼接侧分别提取匹配特征点；

特征点深度信息计算单元，用于分别为两幅相邻的深度图中的匹配特征点计算对应的深度信息；

特征点筛选单元，用于基于计算的深度信息对匹配特征点进行筛选，筛除超过深度偏差容许度的匹配特征点；

彩色图拼接单元，基于筛选后的匹配特征点进行两幅彩色图的融合处理，得到拼接彩色图；

深度图拼接单元，基于筛选后的匹配特征点进行两幅深度图的融合处理，形成与拼接彩色图对应的深度图。

2.根据权利要求1所述的3D全景拍摄系统，其特征在于，所述的融合处理包括：基于匹配特征点将两幅彩色图/深度图对齐以确定重叠区域，针对重叠区域采用平滑过渡的方法进行融合。

3.根据权利要求1所述的3D全景拍摄系统，其特征在于，所述全景拼接处理单元还包括插值处理单元，用于在彩色图和深度图的分辨率不同时，采用插值方式建立彩色影像信息和深度影像信息的像素对应关系。

4.根据权利要求1所述的3D全景拍摄系统，其特征在于，每个3D影像采集单元具有一个光心轴线，多个3D影像采集单元的光心轴线交于空间中的一个中心点，每个3D影像采集单元均采用背离所述中心点的方向布置，且相同规格的3D影像采集单元布置在与所述中心点距离相等的位置。

5.根据权利要求1所述的3D全景拍摄系统，其特征在于，所述3D影像采集单元包括用于获取彩色图的一个或两个彩色影像采集模块和用于获取深度图的一个或两个深度影像采集模块；

其中，彩色影像采集模块/深度影像采集模块为一个时，该一个彩色影像采集模块/深度影像采集模块为左右眼共用，彩色影像采集模块/深度影像采集模块为两个时，该两个彩色影像采集模块/深度影像采集模块分别为对应左右眼；

其中，彩色影像采集模块采用通用摄像模组，深度影像采集模块包括结构光深度采集单元、光飞行时间深度采集单元、立体视觉深度采集单元中的一个或几个。

6.根据权利要求1所述的3D全景拍摄系统，其特征在于，所述系统还包括存储单元和传输单元，3D影像采集单元采集到的数据可直接发往全景拼接处理单元进行处理，或者存储到存储单元后，全景拼接处理单元从存储单元调取相应的数据；全景拼接处理单元处理得到的3D全景影像可通过传输单元直接发送出去或者存储到存储单元。

7.一种3D全景拍摄方法，其特征在于，包括：

多个3D影像采集单元分别获取包含彩色影像信息的彩色图和包含深度影像信息的深度图，多个3D影像采集单元的视场拼接后覆盖所需要的拍摄区域，相邻两个采集单元的视场在拼接处部分重叠；

全景拼接处理单元对多个3D影像采集单元的影像信息进行拼接处理，生成3D全景影像；

其中，所述拼接处理包括：

在两幅相邻的彩色图的拼接侧分别提取匹配特征点；

分别为两幅相邻的深度图中的匹配特征点计算对应的深度信息；

基于计算的深度信息对匹配特征点进行筛选，筛除超过深度偏差容许度的匹配特征点；

基于筛选后的匹配特征点进行两幅彩色图的融合处理，得到拼接彩色图；

基于筛选后的匹配特征点进行两幅深度图的融合处理，形成与拼接彩色图对应的深度图。

8.根据权利要求7所述的3D全景拍摄方法，其特征在于，所述的融合处理包括：基于匹配特征点将两幅彩色图/深度图对齐以确定重叠区域，针对重叠区域采用平滑过渡的方法进行融合。