[发明专利]室内场景光照估计模型、方法、装置、存储介质以及渲染方法

说明书

本发明的公开了一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质，包括：自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维特征编码和解码成以估计全景图表示的室内场景光照信息；所述自编码器的网络参数由自编码器作为生成器与分类器组成的生成式对抗网络经训练确定。能够根据图像即可以快速估计室内场景光照信息，且室内场景光照信息全面可靠，利用该室内场景光照信息能够提高渲染效果的真实感。

技术领域

本发明涉及光照估计及渲染技术领域，具体涉及一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质以及渲染方法。

背景技术

在许多逆向绘制应用中，如增强现实，需要从真实场景中推断光照信息，这一直是一个热门和关键问题。伴随着智能手机、平板电脑、AR头盔、智能眼镜等产品的发展越来越快，AR的移动应用越来越多，光照估计方法的研究最近不断地涌现。在这些场景中，所预测的光照结果对于解决新插入的三维模型上的逼真再现是非常重要的。然而，准确的光照预测也是非常具有挑战性的，因为要考虑的因素很多，包括场景几何，材料属性，光源的复杂性和捕获设备等。

虚拟物体与真实环境拥有一致的光照效果是该技术的难点之一，即真实感的AR效果主要体现在光照一致性，它是指虚拟物体应与真实环境之间有正确的明暗、阴影等光照匹配关系，使得估计的真实场景的光照信息实时反馈到虚拟物体绘制与渲染上，虚拟物体更加自然地与真实物体融合到一起。

根据应用场景的不同，光照估计研究可以分为室内场景和室外场景光照估计，室外光照估计相对简单，光照效果主要起决定性作用的是整个天空和太阳方位，通常会使用参数化的天空模型来模拟各种天气，太阳光强度位置等，能够取得较好的光照估计效果。室内光照估计则相对困难一些，因为起决定性作用的可能是各种常见的室内光源，比如日光灯，台灯，窗户等，形状位置都是不确定的，不能够用参数模型来建模。

针对室外场景光照估计，早期的研究方法大多借助于辅助物体，包括在场景中的一些已知材质表面反射属性的球体，能够方便捕获或推测真实场景中的光照信息，多以估计真实场景的光源为主要研究任务。或者借助于高级的拍摄设备，比如鱼眼相机、光场相机，更加快捷地计算场景中的光照情况。

从实用性出发，现在研究方向趋向于基于图像来估计场景光照信息，这是相比最困难的也是最具有前景的方法，是近年来光照估计领域的重要发展方向。现有基于图像的光照估计方法有两种，一种是估计光源位置，强度，看成是点光源光照模型。另一种是尝试用固定的多阶球面基函数来近似表示整个场景的光照情况。这两种方法都存在一定的约束，无论是点光源还是球面基函数，所能表达的球面信号复杂度都是有限的。

发明内容

本发明的主要目的是提供一种室内场景基于单张图像的光照估计模型、方法、装置、存储介质能够根据单张彩色低动态图像即可以快速估计室内场景光照信息，且室内场景光照信息全面可靠，利用该室内场景光照信息能够提高渲染效果的真实感。

本发明的另一目的是提供一种渲染方法，该渲染方法基于全面可靠的室内场景光照信息进行渲染，提升了渲染结果的真实感。

为实现上述主要目的，本发明的提供的技术方案为一种室内场景基于单张图像的光照估计模型，包括：

自编码器，用于将由单张彩色低动态图像映射成的部分全景图的高维特征编码和解码成以估计全景图表示的室内场景光照信息；

所述自编码器的网络参数由自编码器作为生成器与判别器组成的生成式对抗网络经训练确定。

为实现上述主要目的，本发明的提供的技术方案为一种室内场景基于单张图像的光照估计方法，所述方法包括以下步骤：

获取彩色图像或全景图；

利用上述的室内场景光照估计模型对单张彩色低动态图像进行估计，获得室内场景光照信息。