[发明专利]基于学习的镜头眩光移除

说明书

一种方法包括获得包含特定镜头眩光表示的输入图像，以及通过由机器学习模型处理输入图像以生成去眩光图像，该去眩光图像包括其中移除了特定镜头眩光表示的至少一部分的输入图像。机器学习(ML)模型可以通过生成训练图像来训练，该训练图像将相应基准图像与相应的镜头眩光图像相组合。对于每个相应训练图像，可以通过由ML模型处理相应训练图像来确定经修改的图像，并且可以基于将经修改的图像与用于生成相应训练图像的相应的基准图像进行比较的损失函数来确定损失值。ML模型的参数可以基于为每个相应训练图像和损失函数确定的损失值来调整。

相关申请的交叉引用

本申请要求于2020年9月28日提交的美国临时专利申请第63/084,377号的优先权，该申请通过引用结合于此，如同在本说明书中完全阐述一样。

技术领域

本申请涉及基于学习的镜头眩光移除。

背景技术

镜头眩光(lens flare)是由于相机对准强光源而造成的照片中的常见伪影。镜头眩光会模糊或干扰环境各部分的表示，从而降低照片的图像质量。

发明内容

可以训练机器学习模型(诸如卷积神经网络)来确定图像中的镜头眩光表示。具体地，机器学习模型可以被配置为处理包括镜头眩光表示的输入图像，以生成其中移除了镜头眩光表示的至少一些的、输入图像的去眩光(de-flared)版本。机器学习模型可以基于通过将缺少镜头眩光表示的多个基准图像与表示镜头眩光的多个镜头眩光图像相组合而形成的多个训练图像来训练。镜头眩光图像中的一些可以使用物理相机来实验性地捕获，而其他的可以基于相机的计算机模拟来生成。

在第一示例实施例中，一种方法可以包括获得(i)多个基准图像和(ii)多个镜头眩光图像。该方法还可以包括通过将多个基准图像的每个相应基准图像与多个镜头眩光图像中相应的镜头眩光图像相组合来生成多个训练图像。该方法还可以包括通过由机器学习模型处理相应训练图像，为多个训练图像中的每个相应训练图像确定经修改的图像。经修改的图像可以包括其中移除了相应的镜头眩光表示的至少一部分的相应训练图像。该方法还可以包括基于损失函数为多个训练图像中的每个相应训练图像确定损失值，该损失函数被配置为将经修改的图像与用于生成相应训练图像的相应的基准图像进行比较。该方法还可以包括基于(i)为每个相应训练图像确定的损失值和(ii)损失函数来调整机器学习模型的一个或多个参数。

在第二示例实施例中，系统可以包括处理器和其上存储有指令的非暂时性计算机可读介质，当由处理器执行时，指令使得处理器执行操作。操作可以包括获得(i)多个基准图像和(ii)多个镜头眩光图像。操作还可以包括通过将多个基准图像中的每个相应基准图像与多个镜头眩光图像中相应的镜头眩光图像相组合来生成多个训练图像。操作还可以包括，对于多个训练图像中的每个相应训练图像，通过由机器学习模型处理相应训练图像来确定经修改的图像。经修改的图像可以包括其中移除了相应的镜头眩光表示的至少一部分的相应训练图像。操作还可以包括基于损失函数为多个训练图像中的每个相应训练图像确定损失值，该损失函数被配置为将经修改的图像与用于生成相应训练图像的相应的基准图像进行比较。操作还可以包括基于(i)为每个相应训练图像确定的损失值和(ii)损失函数来调整机器学习模型的一个或多个参数。

在第三示例实施例中，制品可以包括其上存储有指令的非暂时性计算机可读介质，当由计算设备执行时，指令使得计算设备执行操作。操作可以包括获得(i)多个基准图像和(ii)多个镜头眩光图像。操作还可以包括通过将多个基准图像中的每个相应基准图像与多个镜头眩光图像中相应的镜头眩光图像相组合来生成多个训练图像。操作还可以包括，对于多个训练图像中的每个相应训练图像，通过由机器学习模型处理相应训练图像来确定经修改的图像。经修改的图像可以包括其中移除了相应的镜头眩光表示的至少一部分的相应训练图像。操作还可以包括基于损失函数为多个训练图像中的每个相应训练图像确定损失值，该损失函数被配置为将经修改的图像与用于生成相应训练图像的相应的基准图像进行比较。操作还可以包括基于(i)为每个相应训练图像确定的损失值和(ii)损失函数来调整机器学习模型的一个或多个参数。