[发明专利]基于所生成的运动数据处理图像

说明书

用于图像处理的示例装置包括运动自适应图像增强器，用于接收运动数据和具有减少的噪声的图像。运动自适应图像增强器可以基于运动数据来处理图像的被遮挡区域。运动自适应图像增强器可以生成增强图像。

相关申请的交叉引用

本申请要求于2016年4月20日递交的、名称为“Processing Images Based onGenerated Motion Data(基于所生成的运动数据处理图像)”、申请人为Jun Nishimura的美国专利申请序列号15/133,455的申请日的权益，该专利申请的整体通过引用结合于此。

背景技术

成像设备可以包括成像信号处理器(ISP)以处理由光传感器捕获的数据。ISP可以包括各种处理阶段的ISP流水线。例如，流水线可以包括噪声减少阶段和图像增强阶段。

附图说明

图1是示出包括运动自适应图像增强的示例图像处理流水线的框图；

图2是示出示例流水线的示例时间噪声减少和运动自适应图像增强阶段的详细框图；

图3是要处理的连续捕获的帧的示例集合的框图；

图4是示出具有和不具有时间平滑的图像的详细部分的一对比较；

图5是示出可以基于运动数据来处理图像的示例成像设备的框图；

图6是示出用于基于运动数据来处理图像的方法的流程图；以及

图7是示出存储用于使用运动数据来处理图像的代码的计算机可读介质的框图。

在整个公开内容和附图中使用相同的标号来引用类似的组件和特征。100系列中的标号指最初在图1中找到的特征；200系列中的标号指最初在图2中找到的特征；以此类推。

具体实施方式

如上所述，ISP可以包括多个处理阶段。这些阶段可以被布置在流水线中，这可以允许这些阶段的同时处理。在传统的ISP中，图像增强阶段可以在时间噪声(temporalnoise)减少(TNR)阶段之前被应用于所捕获的传感器数据。例如，图像增强阶段可以在数据在TNR阶段被处理以移除噪声之前对数据应用锐化。然而，在极低光条件下，例如低于0.1光通量(勒克斯)的光条件下，所捕获的帧的被遮挡区域中的噪声可能导致噪声移除的问题。如本文所使用的，被遮挡区域指可能已被移动对象遮挡或遮蔽的图像区域。例如，图像中的对象可能正在移动而导致被遮挡区域，因此在输入帧和先前的参考帧之间可能存在不匹配。例如，由于时间噪声减少可能不会减少被遮挡区域(其中，在输入和参考之间不存在良好的时间匹配)处的噪声，因此被遮挡区域中的较强噪声可能保留，而具有匹配的图像的其他部分可能具有较低噪声水平。这些噪声水平之间的差距对于观看者可能看起来非常不自然。

一些其他传统的ISP可以在移除噪声之后应用图像增强，例如在ISP流水线的最末端。然而，这仍可能导致被遮挡区域中的噪声被放大。例如，在移除噪声之后应用图像增强可能无法避免放大被遮挡区域中的噪声而不降低图像的整体图像增强水平。被遮挡区域中的经放大的噪声可能在感知上困扰用户。

本公开总体涉及用于时间噪声减少和运动自适应图像增强的技术。具体地，本文描述的技术包括用于基于检测到的运动数据来增强图像的装置、方法和系统。在一些示例中，可以生成运动数据并将其用于时间噪声减少阶段的时间平滑。此外，在一些示例中，运动数据可以用在运动自适应图像增强阶段。本文描述的技术使得所捕获图像的被遮挡区域中的低噪声输出成为可能。如本文所使用的，图像(在本文中也称为帧)指在特定时间捕获的一组图像传感器数据。因此，本文描述的技术可以产生更多感知上可接受的视频质量。此外，这些技术可以实现更高的灵活性和视频质量。例如，使用本文描述的技术，可以保持图像增强的水平，同时避免放大被遮挡区域中的噪声。