[发明专利]一种基于多模态摄像头的立体影像生成方法及装置

权利要求书

1.一种基于多模态摄像头的立体影像生成方法，其特征在于，包括：

获取至少两种摄像头的二维图像，并根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据；

基于每种摄像头对应的所述光谱数据计算出每种摄像头对应的角点坐标，并根据每种摄像头对应的所述角点坐标生成所述至少两种摄像头的第一点云数据；

根据所述至少两种摄像头的第一点云数据以及每种摄像头对应的所述光谱数据，生成所述至少两种摄像头的第二点云数据；

根据所述至少两种摄像头的第二点云数据生成三维图像。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据之前，还包括：

获取至少两种摄像头的物理参数；

所述根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据，包括：

根据所述至少两种摄像头的二维图像以及所述至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据。

3.根据权利要求2所述的方法，其特征在于，所述至少两种摄像头包括可见光、近红外摄像头、短波红外摄像头、中波红外摄像头以及长波红外摄像头。

4.根据权利要求3所述的方法，其特征在于，所述获取至少两种摄像头的物理参数，包括：

对所述可见光摄像头、近红外摄像头、短波红外摄像头、中波红外摄像头以及长波红外摄像头进行标定处理，得到所述摄像头的物理参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两种摄像头的二维图像以及所述至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据，包括：

基于可见光、近红外、短波红外、中波红外以及长波红外二维图像中的至少两种二维图像进行匹配，得到匹配结果；

根据所述匹配结果以及所述摄像头的物理参数，得到光谱数据。

6.根据权利要求1所述的方法，其特征在于，所述根据所述至少两种摄像头的第一点云数据以及每种摄像头对应的所述光谱数据，生成所述至少两种摄像头的第二点云数据，包括：

对每种摄像头对应的所述光谱数据进行极坐标计算，得到每种摄像头获取的图像对应的深度数据；

根据所述第一点云数据以及所述深度数据，生成所述第二点云数据。

7.根据权利要求3所述的方法，其特征在于，所述根据所述第二点云数据生成三维图像，包括：

基于所述至少两种图像的第二点云数据对所述可见光摄像头的可见光二维图像以及所述红外光摄像头的红外光二维图像进行匹配，得到所述至少两种摄像头的第三点云数据；

根据所述至少两种摄像头的第三点云数据生成三维图像。

8.一种基于多模态摄像头的立体影像生成装置，其特征在于，包括：

第一处理模块，用于获取至少两种摄像头的二维图像，并根据所述至少两种摄像头的二维图像得到每种摄像头对应的光谱数据；

第二处理模块，用于基于每种摄像头对应的所述光谱数据计算出每种摄像头对应的角点坐标，并根据每种摄像头对应的所述角点坐标生成所述至少两种摄像头的第一点云数据；

第三处理模块，用于根据所述至少两种摄像头的第一点云数据以及每种摄像头对应的所述光谱数据，生成所述至少两种摄像头的第二点云数据；

图像生成模块，用于根据所述至少两种摄像头的第二点云数据生成三维图像。

9.一种基于多模态摄像头的立体影像生成装置，其特征在于，包括处理器以及存储器；

所述处理器与所述存储器相连；

所述存储器，用于存储可执行程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。