[发明专利]一种图像生成方法、装置、存储介质及电子设备

说明书

本说明书公开了一种图像生成方法、装置、存储介质及电子设备，可以通过神经网络模型来生成用户指定的目标物的姿态下目标物的形体结构，以及目标物处于用户指定的姿态时的各表面点的反射率信息，进而可以根据确定出的目标物的形体结构，以及目标物的各表面点的反射率信息，以及用户指定的环境光源，生成处于指定姿态的目标物在指定环境光源的照射下的重光照图像，进而可以避免使用硬件设备按照用户所需的指定环境光源搭建相应的环境所需的成本。

技术领域

本说明书涉及图像处理技术领域，尤其涉及一种图像生成方法、装置、存储介质及电子设备。

背景技术

随着机器学习、人工智能和5G等基础技术的高速发展，促使数字人体建模技术被广泛的应用于影视制作、增强现实、传媒和金融等领域中。

通常情况下，在进行数字人体建模时，需要通过搭建包含有多种光源设备以及多个工业级相机的光舞台图像采集系统，来采集不同光源下的人体图像，并基于采集到的人体图像来完成数字人体模型的重光照（即，合成真实物体在虚拟世界的光照环境下的光影的过程）。而基于硬件设备采集不同光源下的人体图像的方法的成本往往较高。

因此，如何降低数字人体重光照的成本，是一个亟待解决的问题。

发明内容

本说明书提供一种图像生成方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种图像生成方法，所述方法应用于预先训练的图像生成模型，所述图像生成模型包括：动态神经辐射网络、反射率神经网络，所述方法包括：

获取目标物所处的指定环境光源以及目标物的指定姿态；

将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，所述形体结构信息用于表征所述目标物在处于所述指定姿态时的各表面点的位置；

将所述形体结构信息输入到所述反射率神经网络，以通过所述反射率神经网络，确定所述目标物在处于所述指定姿态时的各表面点的反射率信息；

根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像。

可选地，将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：

将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于指定姿态的目标物在标准姿态空间中的密度场，所述密度场用于表征光线在标准姿态空间中的每个空间点上终止的概率；

根据所述密度场，确定处于所述指定姿态的目标物的形体结构信息。

可选地，将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息之前，所述方法还包括：

针对所述指定姿态的目标物包含的每个三维采样点，从预设的线性蒙皮SMPL模型包含的各模型点中确定出与该三维采样点相匹配的模型点；

根据与该三维采样点相匹配的模型点在所述SMPL模型中所属的区域，确定该三维采样点对应的混合权重；

根据所述混合权重以及所述区域对应的变换矩阵，确定该三维采样点在标准姿态空间中对应的标准点；

将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：