[发明专利]使用神经网络的亮点去除

说明书

一种用于图像捕获的方法包括识别图像中的亮点。神经网络用于通过训练的去噪处理来恢复亮点区域中的细节。对图像进行后处理，以将亮点区域中恢复的细节的图像参数与图像的另一区域相匹配。

相关申请

本申请要求2018年11月7日提交的美国临时申请序列号62/756,917的权益，该专利申请特此通过引用出于所有目的以其整体并入本文。

技术领域

本公开涉及用于使用卷积神经网络从图像中去除亮点的系统。特别地，描述了一种用于减少扩展或点源亮点、反射、透镜光晕和眩光的方法。

背景

由于来自图像视野内或附近的阳光或其他明亮光源的反射，图像细节可能会减少、对比度可能会降低、图像可能会模糊、可能会产生大面积重影，并且图片质量可能会受到影响。白天的眩光通常是由于镜子或玻璃表面的反射，这减少了反射对象附近的细节。夜间摄影特别容易受到路灯或其他点光源周围眩光的影响，甚至人像摄影也会受到眼镜或衣服反光的影响。由自主或半自主交通工具拍摄的连续图像或视频图像也会受到影响，迎面而来的交通工具的前照灯或标志的反射会导致细节“消失在眩光中”。

已经应用了各种计算机处理技术来减少图像中的眩光。例如，与标准数字成像或摄像技术相比，高动态范围(HDR)成像可用于再现更大的动态亮度范围。该技术通常合并多个低动态范围图像，每个图像具有不同的曝光时间，这具有减少由长曝光时间引起的光饱和亮点的效果。

还进行了其他尝试，以使用后处理来改善含有眩光的图像。例如，转让给惠普公司的美国专利公开20050129324描述了对图像的一部分进行修复，该图像部分地或全部地被数码相机捕获的图像中的眩光或另一光学伪影遮挡或以其他方式变得不理想。根据所描述的实施例，包含伪影的场景的有缺陷部分被去除，并且被场景的相应的无缺陷部分(即，没有伪影的部分)替换，以创建没有眩光的期望图像。

可替代地，可以使用专用传感器掩模和硬件来减少眩光。例如，转让给三菱电机研究公司(Mitsubishi Electric Research)的美国专利7,780,364描述了一种具有透镜和传感器的相机，其中针孔掩模被放置在传感器附近。掩模将眩光定位在易于识别的像素处，然后可以对这些像素进行滤波以产生眩光减少的输出图像。

在一些实施例中，卷积神经网络可以是成像系统的一部分，以减少眩光。例如，转让给Seeing Machines有限公司的美国专利公开20180039846描述了一种视觉处理器，该视觉处理器能够“学习”忽略眩光信息，而是聚焦于图像中无眩光的部分。一种卷积神经网络，其可能不需要识别所使用的标志点，其信息(诸如眼睛睁开的程度)直接来自图像和离线训练数据。

概述

一种用于图像捕获的方法包括识别图像中的亮点。神经网络被用于通过训练的去噪处理来恢复亮点区域中的细节。亮点可以是由于图像中的亮源眩光(bright sourceglare)、亮源反射(bright source reflections)和光学伪影(optical artifacts)中的至少一种而产生的。对图像进行后处理，以将亮点区域中恢复的细节的图像参数与图像的另一区域相匹配。可以使用具有接受任何尺寸的输入图像的能力的全卷积神经网络。

在一个实施例中，一种用于图像捕获的方法包括接收传感器特定的配置文件数据(sensor specific profiling data)。在图像中识别由于亮源眩光、亮源反射和光学伪影中的至少一种而产生的亮点。使用基于神经网络的去噪和传感器特定的配置文件数据来恢复亮点区域中的细节。

在一些实施例中，图像分割(image segmentation)可用于减小需要基于神经网络的去噪图像的图像尺寸。在其他实施例中，恢复的细节的参数与亮点区域的局部区域匹配或者与整个图像匹配。

应用包括静态图像、产品摄影、人像摄影或交通工具相关成像。图像可以是HDR图像或视频图像。