[发明专利]基于深度学习的高质量材质贴图获取方法

说明书

本发明公开了一种基于深度学习的高质量材质贴图获取方法，所述方法包括：搭建材料获取平台，记录参数搭建虚拟场景，并得到n个材料图像；材料获取平台的控制光照仪器包括相机、材料台和n个光源，n个光源均匀分布在半球壳上；根据参数搭建虚拟场景和n个材料图像，得到训练数据；利用训练数据训练网络模型，得到训练好的网络模型；网络模型中的编码器和解码器中间设置全局跳接结构，通过全局平均池化和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域；将在材料获取平台拍摄的照片输入训练好的网络模型，得到该材料的材质贴图。本发明可以为艺术家设计师和工业应用生成高质量的SVBRDF贴图。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度学习的高质量材质贴图获取方法。

背景技术

空间变化的双向反射分布函数(SVBRDF)，建模为6维空间(光视图方向(4D)和空间位置(2D))的函数，描述了入射光被特定表面反射后的不同出射方向上的分布。在具有GGX正态分布函数的Cook-Torrance BRDF模型(主要用于基于物理的渲染)的假设下，SVBRDF可以使用四个参数贴图进行参数化：漫反射、镜面反射、法线和光泽度。

上述SVBRDF参数的传统获取倾向于在6D空间上进行密集采样以获得合理的结果，但它们的程序效率低下并且经常受到昂贵硬件的限制。最近的研究证明了可以应用深度学习以方便的方式获取SVBRDF参数，这些研究旨在从手机相机拍摄的一张或多张照片中恢复材料的反射特性。但是基于网络接收到的先验知识进行估计，会导致在不同光照下拍摄的相同材料的照片得到不同的结果。这种情况很容易发生，作为采集任务中的一个关键因素，光照总是在变化：室内或室外，晴天或阴天，中午或晚上等。然而，却很少有人提出通过控制照明的方法避免这些情形的发生。因此，在受到杂光干扰的情况下，这些研究的结果只满足了普通用户的娱乐需求，却无法满足专业设计师对重建材料准确性的严格要求。在网络模型方面，U-net中的跳接结构只能够将局部信息从编码器传递到解码器，缺乏对全局信息的传输。

发明内容

为了解决上述现有的技术问题，本发明提供了一种基于深度学习的高质量材质贴图获取方法，该方法在控制照明方面，通过设计一个穹顶式的仪器，对外部干扰光线具有很好的遮蔽效果，同时内部的光源的功率与网络训练数据一致，以此达到实物照明与虚拟物体照明相一致的条件；在模型结构改进方面，设计了一个全局跳接结构，通过均值和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域中，弥补了u-net跳接忽略全局信息的问题。从而实现了为艺术家设计师和工业应用生成高质量的SVBRDF贴图。

本发明的目的可以通过采取如下技术方案达到：

一种基于深度学习的高质量材质贴图获取方法，所述方法包括：

搭建材料获取平台，记录参数搭建虚拟场景，并得到n个材料图像；所述材料获取平台的控制光照仪器包括相机、材料台和n个光源，n个光源均匀分布在半球壳上；

根据所述参数搭建虚拟场景和n个材料图像，得到训练数据；

利用所述训练数据训练网络模型，得到训练好的网络模型；所述网络模型中的编码器和解码器中间设置全局跳接结构，通过全局平均池化和全连接计算，将编码器的信息压缩，并通过广播的方式传播到解码器的每一个区域；

将在所述材料获取平台拍摄的照片输入训练好的网络模型，得到该材料的材质贴图。

进一步的，所述搭建材料获取平台，记录参数搭建虚拟场景，并得到n个材料图像，具体包括：

搭建平台时，记录参数搭建虚拟场景，包括相机参数和相机位置、材料台的大小和位置、光源的大小、功率和位置；

n个光源分布在半球形外壳的三个不同层级；

当系统开始工作时，n个光源将依次点亮，同时，当光源亮起时，摄像机拍摄材料台上的材料；