[发明专利]一种图像生成方法、装置、存储介质及电子设备

权利要求书

1.一种图像生成方法，其特征在于，所述方法应用于预先训练的图像生成模型，所述图像生成模型包括：动态神经辐射网络、反射率神经网络，所述方法包括：

获取目标物所处的指定环境光源以及目标物的指定姿态；

针对所述指定姿态的目标物包含的每个三维采样点，从预设的线性蒙皮SMPL模型包含的各模型点中确定出与该三维采样点相匹配的模型点；根据与该三维采样点相匹配的模型点在所述SMPL模型中所属的区域，确定该三维采样点对应的混合权重；根据所述混合权重以及所述区域对应的变换矩阵，确定该三维采样点在标准姿态空间中对应的标准点；

将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，所述形体结构信息用于表征所述目标物在处于所述指定姿态时的各表面点的位置，其中，将所述指定姿态的目标物包含的每个三维采样点对应的标准点输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息；训练所述图像模型，具体包括：获取样本形体结构信息以及所述样本形体结构信息对应的初始光源；将所述样本形体结构信息输入到所述反射率神经网络，以通过所述反射率神经网络，确定所述样本形体结构信息对应的样本目标物的各表面点的样本反射率信息；通过预设的渲染器根据所述样本形体结构信息，所述样本反射率信息以及所述初始光源，确定所述样本目标物对所述初始光源进行反射后的样本出射幅度信息；根据所述样本出射幅度信息，确定所述样本目标物的每个表面点的像素值；以最小化根据所述样本出射幅度信息确定出的每个表面点的像素值和每个表面点的实际像素值之间的偏差为训练目标，对所述初始光源进行优化，以及对所述图像生成模型的反射率神经网络进行训练；

将所述形体结构信息输入到所述反射率神经网络，以通过所述反射率神经网络，确定所述目标物在处于所述指定姿态时的各表面点的反射率信息；

根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像。

2.如权利要求1所述的方法，其特征在于，将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：

将所述指定姿态输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于指定姿态的目标物在标准姿态空间中的密度场，所述密度场用于表征光线在标准姿态空间中的每个空间点上终止的概率；

根据所述密度场，确定处于所述指定姿态的目标物的形体结构信息。

3.如权利要求1所述的方法，其特征在于，所述图像生成模型还包括：位移场网络；

将所述指定姿态的目标物包含的每个三维采样点对应的标准点输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息，具体包括：

将所述指定姿态的目标物包含的每个三维采样点对应的标准点以及所述SMPL模型输入到所述位移场网络中，以通过所述位移场网络对所述指定姿态的目标物包含的每个三维采样点对应的标准点进行优化，得到所述指定姿态的目标物包含的每个三维采样点对应的优化后标准点；

将所述指定姿态的目标物包含的每个三维采样点对应的优化后标准点输入到所述图像生成模型的动态神经辐射网络中，以通过所述动态神经辐射网络，得到处于所述指定姿态的目标物的形体结构信息。

4.如权利要求1所述的方法，其特征在于，所述图像生成模型还包括：遮挡场网络；

根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像之前，所述方法还包括：

将所述形体结构信息以及所述指定环境光源输入到所述遮挡场网络，以通过所述遮挡场网络，得到所述目标物处于所述指定姿态时的各表面点与所述指定环境光源之间的遮挡关系；

根据所述形体结构信息、所述反射率信息以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像，具体包括：

根据所述形体结构信息、所述反射率信息、所述遮挡关系以及所述指定环境光源，得到处于所述指定姿态的目标物在所述指定环境光源下的重光照图像。