[发明专利]用于图像处理的设备及方法

说明书

本申请提供一种用于对第一和第二图像执行深度估算的设备，其中，所述第一和第二图像是用具有色彩滤波阵列的一个或多个摄像机捕获到的，每个图像包括多个颜色通道，每个颜色通道对应于所述色彩滤波阵列的相应颜色通道，所述设备用于通过从所述第一和第二图像的颜色通道估算视差，执行深度估算。

技术领域

本发明涉及基于图像数据的深度估算。

背景技术

对于各种计算机视觉和机器人技术应用，必须了解周围的几何特性。为了捕获这种几何特性，通常执行深度估算以产生深度图(depth map)。深度图是指将摄像机到场景中各对象的距离进行编码的图像。虽然存在不同的深度估算方法，但立体视觉是一种常见方法。立体视觉使用不同机位的两个以上摄像机来拍摄场景。通过匹配各图像之间的像素并了解这些摄像机的相对位置和方向，可以测量像素从一个图像运动到另一个图像产生的相对位移或视差。然后，视差可以被转换为深度，以产生深度图像。因此，为了通过立体视觉来估算深度，必须首先估算视差。

标准视差估算方法依赖于两个摄像机(或两个不同位置上的同一摄像机)拍摄到的RGB图像，如图1所示。

图1示出了一种立体视觉系统结构，用于根据两个图像计算视差，最终计算深度。该结构包括两个摄像机102、104，用于在不同机位拍摄由球体、圆锥体和立方体组成的场景106。左侧摄像机102和右侧摄像机104分别产生左侧图像108和右侧图像110。在图1中，示出了右侧图像110中的对象叠加在左侧图像108之上，而且可以观察到，对象越靠近摄像机，位移或视差越大。通过准确地计算图像之间的像素运动，可以计算得到视差图112。视差图112表示像素在两个机位之间移动的距离。视差与深度成反比，测量对象与摄像机的距离。也就是说，视差大的对象靠近摄像机。结合摄像机的额外校准数据(例如焦距和基线，基线即摄像机之间的距离)，视差图可以很容易转换为深度图，也称为深度图像。

在标准立体视觉应用中，图像称为RGB图像，因为每个图像坐标由红色、绿色和蓝色样本或像素组成。每个RGB图像由图像信号处理(image signal processing，ISP)管道产生，ISP管道存在于绝大多数商用摄像机中，以将物理光读数转换为最终观察到的RGB图像。ISP管道由一系列操作组成，这些操作将摄像机中的图像传感器采集到的原始数据转换为RGB图像，如图2所示。

图2示出了图像信号处理(image signal processing，ISP)管道中的多个操作。ISP管道由大量连续的模块化操作组成，这些操作将图像传感器捕获到的原始数据202转换为RGB图像204。图2所示的ISP是ISP管道的一个简化示例，现代ISP可以包括20个以上操作模块。

由于原始数据与RGB图像存在若干不同之处，所以必须仔细处理原始数据。图像传感器通常使用色彩滤波阵列(colour filter array，CFA)来捕获原始数据。图3示出了位于光敏传感器网格之上的色彩滤波阵列(colour filter array，CFA)302的示例。CFA由多个滤色镜组成，这些滤色镜只允许与特定波长或颜色对应的光线通过。使用众所周知的拜耳(Bayer)滤色阵列模式，CFA由2×2阵列模式组成，包括2个绿色滤镜、1个红色滤镜和1个蓝色滤镜。这种阵列模式平铺在图像传感器上，从而形成由对应滤色镜组成的镶嵌图案。拜耳阵列模式可以选择包括更多的绿色样本，因为在许多自然图像中，绿色通道捕获的光线比蓝色通道或红色通道多。但是，存在其它镶嵌颜色阵列模式可以用于将滤镜设置在色彩滤波阵列中，例如RYYB。