[发明专利]使用深度信息增强图像中的边缘

说明书

一种用于使用深度信息增强图像帧中的边缘的方法，包括接收彩色图像帧和深度图帧(510)。该方法还包括生成锐化掩模以控制对彩色像素应用图像锐化(520)。锐化掩模基于对应于彩色像素的深度像素的值，并且还基于生成彩色图像帧的深度相机(104)的特性，包括景深、焦距、以及超焦距。该方法还包括计算针对彩色像素的锐化强度(530)。锐化强度与对应于彩色像素的深度像素的值成比例。该方法还包括向彩色图像帧应用锐化滤波，以增强边缘图像特征(540)。锐化滤波基于锐化掩模和锐化强度。

背景技术

诸如智能电话和平板电脑之类的移动设备已经成为用于图像和视频捕捉的主流机构。由这些设备中的相机递送的图像质量不断改善，并且已经成为对于这些设备的消费者而言的关键产品区分因素。因此，图像信号处理(ISP)在相机和移动平台中扮演越来越重要的角色，并且ISP流水线可以相对复杂。边缘增强是通常在ISP流水线中执行的操作之一，并且一般包括应用图像锐化滤波。然而，不幸地是，锐化滤波还会在图像帧的一些区域中产生不期望的图像伪影。

附图说明

本专利或申请文件包含至少一幅彩图。本专利或专利申请公开和彩图的副本将基于请求和必要费用的支付由官方提供。

随着下面的详细描述的继续并且参考附图，请求保护的主题的实施例的特征和优点将变得显而易见，其中，相似的标号描绘相似的部分。

图1是根据本公开某些实施例配置的基于深度的边缘增强系统的实施方式的顶层框图。

图2示出了根据本公开某些实施例的用于边缘增强的图像锐化的示例。

图3示出了根据本公开某些实施例的焦距和景深。

图4是根据本公开某些实施例配置的基于深度的边缘增强电路的更详细的框图。

图5是示出根据本公开某些实施例的用于图像帧的基于深度的边缘增强的方法的流程图。

图6是示意性地示出根据本公开某些实施例配置的执行图像帧的基于深度的边缘增强的系统平台的框图。

尽管将参考说明性实施例继续下面的详细描述，但是根据本公开的很多替代、修改、和变形将显而易见。

具体实施方式

一般，本公开提供了用于使用深度信息增强图像帧中的边缘的技术。这些图像帧可以由例如，深度相机、3D相机、或者多相机系统生成，其中彩色像素和深度像素二者可以从深度相机、3D相机、或者多相机系统获取。在一些实施例中，彩色像素可以表示红-绿-蓝(RGB)值。在一些实施例中，彩色像素可以表示亮度和色度值(称为YUV)。所公开的技术可以例如，用来基于图像的某些区域中的物体或景色与相机的距离通过选择性地向这些区域应用锐化滤波来改善图像质量。

现有的边缘增强技术一般向图像帧中的所有像素应用相同的锐化强度，这会在图像的一些区域中产生不期望的图像伪影。所公开的技术采用深度图提供的空间信息计算物体的距离关系，并基于物体深度、焦距、和景深调整边缘增强或锐化强度。向较远的物体应用较大的锐化因子或强度，并且可以基于深度图动态调整强度。

根据实施例，可以在例如，计算系统或图像捕捉和处理系统、或者可以由这样的系统控制或执行的软件产品中实现所公开的技术。该系统或产品被配置为接收彩色图像帧和深度图帧，并生成锐化掩模以控制对彩色图像帧的彩色像素应用图像锐化。锐化掩模基于对应于彩色像素的深度像素的值，并且基于生成彩色图像帧的深度相机的包括景深、焦距、以及超焦距在内的特性，如下面将更详细说明的。另外，可以针对彩色像素计算锐化强度。锐化强度与对应于彩色像素的深度像素的值成比例。随后向彩色图像帧应用锐化滤波，以增强边缘图像特征。锐化滤波基于锐化掩模和锐化强度。

根据实施例，相比现有的应用均匀锐化滤波的方法，本文中描述的技术可以允许改善图像。另外，这些技术可以实现在包括移动设备在内的各种计算和通信平台上，因为深度相机功能在这些平台上越来越多地使用。这些技术还可以实现在硬件或软件、或者它们的组合中。