[发明专利]基于无监督学习的单张图片本征图像分解方法、系统及介质

说明书

本发明公开了一种基于无监督学习的单张图片本征图像分解方法、系统及介质，方法包括下述步骤：构建本征图像分解模型，所述本征图像分解模型包括两个分支，一支为反射率生成网络，另一支为光照生成网络；设置随机噪声参数并经过训练后得到两个与原图尺度相同的随机噪声；将生成的两个随机噪声分别作为反射率网络和光照网络的输入，在损失函数的约束下，不断利用反向传播算法更新反射率网络和光照网络的参数；当更新反射率网络和光照网络的参数多次后，在历史输出中选取重构图与原图峰值信噪比PSNR值最小的那组结果作为本征图像分解的最终结果。通过两个结构相同的反射率生成网络和光照网络，分别输出反射率和光照，实现无监督的本征图像分解。

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种基于无监督学习的单张图片本征图像分解方法、系统及介质。

背景技术

传统的本征图像分解方法大多基于优化求解的框架下，同时设置很多先验条件。例如，Retinex理论假设大的梯度变化是由反射率的变化引起的；小的梯度变化是由光照的变化引起的。最近还有一些方法通过RGB-D相机采集物体表面的法线信息，表面的法线能够提高光照的估计准确度。基于优化的方法通常需要人为的设置假设，然后将假设转化成优化方程。然而这种手工设置先验的强约束并不完全正确。例如Retinex理论，事实上在光照突变的位置较大的梯度应属于光照成分而不是假设中的反射率。同时，类似的先验适用适用的图片也很有限，在实际应用中效果较差。

基于时间序列图片的方法会搜集同一场景在不同光照条件下的多张图片，组成时间序列图片，然后假设这些图片的反射率是没有发生变化的，但是光照是变化的。因此，这些方法便有了一个很重要的约束——时间序列每张图片的分解结果中反射率要求严格相同。基于时间序列的方法存在的最大问题是数据获取很困难，在一段时间内，场景内每一个物体都不发生改变的可能性是很小的，例如常见的背景变化、天气变化等都归于反射率的变化。因此获取一系列光照不变同时反射率变化的图片是困难的。另外一个问题是应用受限，诸多方法训练的时候采用了时间序列，因此在实际应用的时候也要求模型的输入是时间序列，这显然是不切实际的。

有监督的深度学习方法，自S.Bell等人公布IIW数据集之后，一大批方法把深度学习应用在本征图像分解领域,他们利用神经网络的特性挖掘数据潜在的特征实现有监督学习的本征图像分解。后续有人补充IIW数据集形成新的针对光照的稀疏标注数据集SAW。同时，不满足于IIW和SAW数据集数据量偏少，Li,Zhengqi等人在SUNCG基础上创建了自己的大型虚拟数据集CGIntrinsics。但是，有监督的深度学习方法同样面临着数据的问题，本领域主流的IIW数据集包含的图片数量仅5000多张，与其他计算机视觉课题方向的数据集相差甚远。数据有限决定了有监督深度学习模型的泛化能力不会太好。同时，IIW数据集等的标注是稀疏标注，标签质量不高，这也极大限制了有监督深度学习方法的前景。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于无监督学习的单张图片本征图像分解方法、系统及介质，通过两个结构相同的反射率生成网络和光照网络，分别输出反射率和光照，实现无监督的本征图像分解。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于无监督学习单张图片本征图像分解方法，包括下述步骤：

构建本征图像分解模型，所述本征图像分解模型包括两个分支，一支为反射率生成网络，另一支为光照生成网络；设置随机噪声参数并经过训练后得到两个与原图尺度相同的随机噪声；

将生成的两个随机噪声分别作为反射率网络和光照网络的输入，在损失函数的约束下，不断利用反向传播算法更新反射率网络和光照网络的参数；

当更新反射率网络和光照网络的参数多次后，在历史输出中选取重构图与原图峰值信噪比PSNR值最小的那组结果作为本征图像分解的最终结果。

作为优选的技术方案，所述反射率网络和光照网络结构相同，具体为：