[发明专利]基于学习的镜头眩光移除

权利要求书

1.一种计算机实现的方法，包括：

获得包含特定镜头眩光表示的输入图像；

由机器学习模型处理输入图像，以生成包括其中移除了特定镜头眩光表示的至少一部分的输入图像的去眩光图像，其中，所述机器学习模型已经被训练为确定图像中的镜头眩光表示；以及

输出去眩光图像。

2.根据权利要求1所述的计算机实现的方法，其中，所述机器学习模型已经被训练为通过以下步骤来确定图像中的镜头眩光表示：

获得(i)多个基准图像和(ii)多个镜头眩光图像；

通过将多个基准图像中的每个相应基准图像与多个镜头眩光图像中相应的镜头眩光图像相组合来生成多个训练图像；

对于多个训练图像中的每个相应训练图像：

通过由机器学习模型处理相应训练图像来确定经修改的图像，其中，所述经修改的图像包括其中移除了相应的镜头眩光表示的至少一部分的相应训练图像；

基于损失函数来确定损失值，所述损失函数被配置为将经修改的图像与用于生成相应训练图像的相应的基准图像进行比较；以及

基于(i)为每个相应训练图像确定的损失值和(ii)损失函数来调整机器学习模型的一个或多个参数。

3.根据权利要求2所述的计算机实现的方法，其中，所述机器学习模型已经被训练为进一步通过以下步骤来确定图像中的镜头眩光表示：

对于多个训练图像中的每个相应训练图像：

(i)由机器学习模型或(ii)基于经修改的图像和相应训练图像之间的差来确定恢复的镜头眩光图像；以及

进一步基于第二损失函数来确定损失值，所述第二损失函数被配置为将恢复的镜头眩光图像与用于生成相应训练图像的相应的镜头眩光图像进行比较，其中，所述一个或多个参数进一步基于第二损失函数来调整。

4.根据权利要求3所述的计算机实现的方法，其中，确定损失值包括：

确定(i)第一加权值和损失函数的输出的乘积以及(ii)第二加权值和第二损失函数的输出的乘积之和。

5.根据权利要求2-4中任一项所述的计算机实现的方法，其中，所述多个镜头眩光图像包括通过计算地模拟相机设备的光学系统来生成一个或多个第一镜头眩光图案的表示而生成的一个或多个模拟镜头眩光图像。

6.根据权利要求5所述的计算机实现的方法，其中，所述一个或多个第一镜头眩光图案的表示的至少一部分表示相机设备的镜头上存在的一个或多个缺陷对光的散射。

7.根据权利要求5-6中任一项所述的计算机实现的方法，其中，计算地模拟相机设备的光学系统包括：

确定相机设备的光圈函数，其中，所述光圈函数表示相机设备的镜头上存在的一个或多个缺陷；

基于相机设备相对于模拟光源的角位置来确定线性相移；

基于相机设备相对于模拟光源的深度来确定散焦的程度；

基于(i)光圈函数和(ii)线性相移和散焦的程度之和的指数函数的乘积的傅立叶变换，来确定相机设备的点扩散函数；

通过以多个不同的波长对点扩散函数进行采样，来生成表示非相干光源的多通道点扩散函数；以及

通过将多通道点扩散函数乘以被配置为将多通道点扩散函数变换到图像空间中的颜色矩阵来生成一个或多个模拟镜头眩光图像中的特定模拟镜头眩光图像，其中，通过调整以下中的一个或多个来生成一个或多个模拟镜头眩光图像的附加模拟镜头眩光图像：(i)光圈函数、(ii)相机设备相对于模拟光源的位置、或者(iii)颜色矩阵。

8.根据权利要求2-7中任一项所述的计算机实现的方法，其中，所述多个镜头眩光图像包括使用相机设备捕获的一个或多个实验镜头眩光图像，其中，所述一个或多个实验镜头眩光图像包含由一个或多个光源向相机设备发射光而导致的一个或多个第二镜头眩光图案的表示，并且其中，所述一个或多个实验镜头眩光图像是用相对于一个或多个光源、以一个或多个不同姿态设置的相机设备来捕获的。