[发明专利]执行对象的深度估计的方法和装置

说明书

提供了一种用于执行场景的图像中的对象的深度估计的方法和装置。该方法包括：捕获场景的图像；由传感器从图像获得像素强度数据和事件数据；使用事件数据来生成事件深度图，其中，事件数据包括图像的事件图数据和图像的事件速度数据；以及使用事件深度图和像素强度数据来生成图像中的对象的深度图。

技术领域

本公开总体上涉及图像处理，并且更具体地，涉及一种用于执行场景中的对象的深度估计的方法和装置。

背景技术

诸如相机、移动电话和其他多媒体设备的各种电子设备用于捕获场景的图像。所捕获的场景的深度图可以用于不同的应用(诸如机器人学、汽车感测、医学成像和三维(3D)应用)中。深度图是包括关于从视点到被包括在场景中的表面的距离的信息的图像。

传统的相机系统在深度估计和有源深度传感器(例如，过饱和区域中的深度估计、变化的照明条件下的深度估计、以及反射和透明对象的深度估计)方面具有许多处理瓶颈。

例如，在用于深度估计的常规的互补金属氧化物半导体(CMOS)传感器和立体设置(stereo setup)中，不能在饱和图像区域中估计准确的深度。此外，常规的CMOS传感器不能以高帧速率和低功率捕获场景的图像，这不适合提供快速的视觉反馈。

在高级驾驶员辅助系统(ADAS)中，场景的准确的深度图对于障碍物检测是必要的。此外，ADAS系统应该能够在各种照明条件下进行操作，并向用户提供快速的视觉反馈以用于正确的导航。然而，常规的CMOS传感器在各种照明条件下不能很好地操作，并且不能向用户提供快速的视觉反馈，这导致深度图的不良成像特性。此外，常规的CMOS传感器需要更高的带宽。例如，常规的CMOS传感器可以以奈奎斯特率进行采样，这需要超过20GBPS。

因此，需要一种用于在各种照明条件下执行场景中的对象的准确的深度估计的方法和装置。

发明内容

技术解决方案

根据本公开的一方面，提供了一种用于由电子设备执行图像中的对象的深度估计的方法。该方法包括：由电子设备捕获场景的图像；由电子设备的传感器从图像获得像素强度(pixel intensity)数据和事件数据；使用事件数据来生成事件深度图，其中，事件数据包括图像的事件图数据和图像的事件速度数据；以及使用事件深度图和像素强度数据来生成图像中的对象的深度图。

有益效果

本公开提供了一种用于在各种照明条件下执行场景的图像中的对象的准确的深度估计的方法和装置。

附图说明

从结合附图的以下描述中，本公开的某些实施例的以上以及其他方面、特征和优点将更加显而易见，其中：

图1A示出了根据实施例的用于执行场景中的对象的深度估计的电子设备；

图1B示出了根据实施例的稀疏深度图(sparse depth map)和稠密深度图(densedepth map)；

图1C是示出根据实施例的获得事件强度图像的方法的流程图；

图1D示出了根据实施例的获得场景数据的方法；

图2示出了根据实施例的用于执行场景中的对象的深度估计的电子设备的深度估计引擎；

图3A是示出根据实施例的用于执行场景中的对象的深度估计的设备方法的流程图；

图3B是示出根据实施例的用于生成稀疏事件深度图的方法的流程图；

图3C是示出根据实施例的用于创建稠密深度图的方法的流程图；

图4是示出根据实施例的电子设备执行场景中的对象的深度估计的过程流程图；