[发明专利]一种基于多模态摄像头的立体影像生成方法及装置

说明书

本申请公开了一种基于多模态摄像头的立体影像生成方法及装置，其方法包括获取至少两种摄像头的二维图像，并根据二维图像得到每种摄像头对应的光谱数据；接着基于每种摄像头对应的光谱数据计算出每种摄像头对应的角点坐标，并根据该角点坐标生成至少两种摄像头的第一点云数据；接着根据至少两种摄像头的第一点云数据以及光谱数据，生成至少两种摄像头的第二点云数据，并根据该至少两种摄像头的第二点云数据生成三维图像。通过获取多种摄像头各自对应的光谱数据，并根据该光谱数据生成点云数据，由于点云数据中包含每一光谱的定位信息，可使根据点云数据生成的三维图像完整性更好，且成像效果更加显著。

技术领域

本申请属于图像处理技术领域，特别的涉及一种基于多模态摄像头的立体影像生成方法及装置。

背景技术

重建三维图像的方法可有多种，作为最常见的一种则是通过二维图像重建三维图像，该方式可根据可见光图像叠加融合红外光图像，构建出双波段的三维图像。

但通过该二维图像重建出的三维图像，仅可体现出光谱的纹理特征，无法实现对于光谱的位置判断，易对三维图像的成像效果带来影响。

发明内容

本申请为解决上述提到的无法实现对于光谱的位置判断，易对三维图像的成像效果带来影响等问题，提出一种基于多模态摄像头的立体影像生成方法及装置，其具体方案如下：

第一方面，本申请实施例提供了一种基于多模态摄像头的立体影像生成方法，包括：

获取至少两种摄像头的二维图像，并根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据；

基于每种摄像头对应的光谱数据计算出每种摄像头对应的角点坐标，并根据每种摄像头对应的角点坐标生成至少两种摄像头的第一点云数据；

根据至少两种摄像头的第一点云数据以及每种摄像头对应的光谱数据，生成至少两种摄像头的第二点云数据；

根据至少两种摄像头的第二点云数据生成三维图像。

在第一方面的一种可选方案中，在根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据之前，还包括：

获取至少两种摄像头的物理参数；

根据至少两种摄像头的二维图像得到每种摄像头对应的光谱数据，包括：

根据至少两种摄像头的二维图像以及至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据。

在第一方面的又一种可选方案中，至少两种摄像头包括可见光摄像头、近红外光摄像头以及红外光摄像头；

获取至少两种摄像头的二维图像，包括：

获取可见光摄像头在预设范围内的可见光二维图像；和

获取近红外光摄像头在预设范围内的近红外光二维图像；和

获取红外光摄像头在预设范围内的红外光二维图像。

在第一方面的又一种可选方案中，获取至少两种摄像头的物理参数，包括：

对可见光摄像头进行标定处理，得到可见光摄像头的物理参数；和

对近红外光摄像头进行标定处理，得到近红外光摄像头的物理参数；和

对红外光摄像头进行标定处理，得到红外光摄像头的物理参数。

在第一方面的又一种可选方案中，根据至少两种摄像头的二维图像以及至少两种摄像头的物理参数，得到每种摄像头对应的光谱数据，包括：

基于可见光摄像头的可见光二维图像对近红外光摄像头的近红外光二维图像以及红外光摄像头的红外光二维图像进行匹配，得到可见光二维图像的匹配结果；