[发明专利]图像处理模型训练方法以及三维对象模型构建方法

说明书

本说明书实施例提供了图像处理模型训练方法以及三维对象模型构建方法，该图像处理模型训练方法包括确定目标对象的三维对象模型；渲染三维对象模型，确定目标对象的至少一个视角下的彩色图像；根据三维对象模型或者彩色图像，确定目标对象的对象参数化模型；渲染对象参数化模型，确定与彩色图像对应的深度图像；根据彩色图像、深度图像、以及目标对象对应的目标深度图像，训练获得图像处理模型。该方法通过引入渲染目标对象的对象参数化模型获得的深度图像，为深度估计提供对象形状参数、姿态参数的粗略先验，以降低深度估计的自由度，在此基础上结合RGB图像对图像处理模型进行训练，引导图像处理模型学习到准确且细节丰富的对象深度估计结果。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种图像处理模型训练方法。

背景技术

全息人体4D(FourDimensions)重建，为通过AI(Artificial Intelligence，人工智能)能力从消费级硬件(例如任意VR(Virtual Reality，虚拟现实)设备)的单目RGB图像输入中恢复出一系列高精度人体表面几何的过程。而要实现全息人体4D重建，从单目RGB(Red(红色)，G代表Green(绿色)，B代表Blue(蓝色))图像输入中恢复出高精度的深度数据是比不可少的关键关节，深度数据包含的几何细节越多，得到的全息人体4D重建模型越真实，在XR(Extended Reality，扩展现实)应用带来的沉浸感也越强烈。

但是，从单目RGB图像输入中恢复成像过程中丢失的深度信息，作为未解决的技术问题，一直是计算机视觉领域的重要研究方向。

发明内容

有鉴于此，本说明书实施例提供了一种图像处理模型训练方法。本说明书一个或者多个实施例同时涉及一种图像处理模型训练装置，一种三维对象模型构建方法，一种三维对象模型构建装置，一种扩展现实XR设备，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种图像处理模型训练方法，包括：

确定目标对象的三维对象模型；

渲染所述三维对象模型，确定所述目标对象的至少一个视角下的彩色图像；

根据所述三维对象模型或者所述彩色图像，确定所述目标对象的对象参数化模型；

渲染所述对象参数化模型，确定与所述彩色图像对应的深度图像；

根据所述彩色图像、所述深度图像、以及所述目标对象对应的目标深度图像，训练获得图像处理模型，

其中，所述图像处理模型为深度神经网络模型。

根据本说明书实施例的第二方面，提供了一种图像处理模型训练装置，包括：

第一模型确定模块，被配置为确定目标对象的三维对象模型；

第一渲染模块，被配置为渲染所述三维对象模型，确定所述目标对象的至少一个视角下的彩色图像；

第二模型确定模块，被配置为根据所述三维对象模型或者所述彩色图像，确定所述目标对象的对象参数化模型；

第二渲染模块，被配置为渲染所述对象参数化模型，确定与所述彩色图像对应的深度图像；

模型训练模块，被配置为根据所述彩色图像、所述深度图像、以及所述目标对象对应的目标深度图像，训练获得图像处理模型，

其中，所述图像处理模型为深度神经网络模型。

根据本说明书实施例的第三方面，提供了一种三维对象模型构建方法，包括：

将目标对象的彩色图像输入图像处理模型，获得与所述目标对象的彩色图像对应的深度图像；