[发明专利]一种三维视觉图像构建方法和装置

说明书

公开了一种三维视觉图像构建方法和装置。该三维视觉图像构建方法可包括：获取由多个相机在第一时刻捕捉的第一图像；基于每个相机的第一图像来获得每个相机在第一时刻的深度预测图；基于在第一时刻的深度预测图将每个相机的第一图像转换成在该相机的相机坐标系中的三维图像，所述三维图像包括逐像素的三维坐标和对应的像素值；以及将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中，以生成对应于所述第一时刻的由所述多个相机捕捉的第一图像在所述统一坐标系中的三维图像。还公开了相应的三维视觉图像构建装置。

技术领域

本发明涉及图像处理，尤其涉及一种三维视觉图像构建方法和装置。

背景技术

相机(或摄像头)已被广泛用于监控场景，例如街道环境监控、道路/车辆监控、安全系统等。这些相机被配置成捕捉二维(2D)图像或连续的二维图像(即，视频)。一些监控系统呈现每个相机捕捉的单独的图像或视频，而一些系统对多个相机捕捉的图像或视频进行拼接，以形成环视图像或视频。

AVM(Around View Monitor，即全景环视监控系统)通过在汽车所有视场范围安装4到8个广角摄像头，收集同一时刻的多路视频影像，经过图像处理算法进行畸变矫正及拼接处理，得到一幅360°的俯视图，能够让驾驶员直观、清晰地查看车辆周边路况信息，帮助其轻松停泊车辆，有效减少刮蹭、碰撞、陷落等事故的发生。AVM已经成为汽车必不可少的辅助驾驶功能。然而，目前的研究中大多是传统的2D图像处理算法，通过对环视相机的2D图像进行拼接形成车身四周的俯视图，因为实现了车身360°的拼接，所以常被称为全景3D AVM。

在一方面，目前的AVM研究中大多使用2D图像处理算法，在对多路鱼眼相机获取的图像进行去畸变后，直接对得到的多路2D图像进行拼接形成车身四周的俯视图即所谓的全景3D AVM，但这种全景3D AVM的图像本身是二维的，对于车身四周环境并未进行准确的3D构建，即使加上3D的自车模型在2D俯视图上进行可视化展示，也无法为驾驶员提供周围环境的3D视像，对于车身四周并不能进行准确的3D重现，尤其是不能显示一些被遮挡障碍物，存在一定的视野盲区，从而司机在使用时体验效果较差。

在另一方面，当前采用的多路图像拼接算法(裁剪后使用sift、关键点匹配等)较为简单，在重叠部分往往存在一定的偏差，缺乏一种精确的图像拼接方法。

因此，本领域需要一种改进的三维视觉图像构建方法和装置。

发明内容

针对现有AVM研究中使用传统2D图像处理算法直接对多路2D图像进行拼接形成俯视图或全景图的问题，本发明提出了一种对多路相机采集的2D图像进行三维可视化转换的技术方案，使得能够呈现周围环境的3D视像。有利的是，在2D图像中被遮挡的障碍物无法被呈现，而通过采用本发明的三维可视化转换技术，通过转换视角可以呈现被遮挡的障碍物，减少了视野盲区。更进一步，通过采用本发明的三维可视化转换技术，消除了现有技术中多路2D图像拼接在重叠部分往往存在偏差的问题。

在本发明的一个实施例中，提供了一种三维视觉图像构建方法，其包括：获取由多个相机在第一时刻捕捉的第一图像；基于每个相机的第一图像来获得每个相机在第一时刻的深度预测图；基于在第一时刻的深度预测图将每个相机的第一图像转换成在该相机的相机坐标系中的三维图像，所述三维图像包括逐像素的三维坐标和对应的像素值；以及将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中，以生成对应于所述第一时刻的由所述多个相机捕捉的第一图像在所述统一坐标系中的三维图像。

在一方面，所述三维视觉图像构建方法还包括：在将所述多个相机在各自的相机坐标系中的三维图像转换到统一坐标系中之后，检测来自不同相机的具有相同的三维坐标的重叠像素；以及将重叠像素设置为重叠像素中的一者对应的像素值或重叠像素的加权像素值。

在一方面，重叠像素被设置为所述重叠像素中具有高优先级的像素对应的像素值。