[发明专利]一种三维点云重建方法、装置及电子设备

说明书

本申请实施例提供了一种三维点云重建方法、装置及电子设备，方法包括：获取目标对象的原始三维点云，原始三维点云包括第一数量个点；按照第一预设映射关系，对原始三维点云进行UV展开，得到原始UV图像；将原始UV图像输入预先训练好的图像超分模型，得到目标对象的目标超分UV图像，图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，预设训练集包括样本对象的样本低分UV图像和样本超分UV图像；按照第二预设映射关系，对目标超分UV图像进行采样，得到目标对象的超分三维点云。应用本申请实施例提供的技术方案，解决了对3D点云进行超分处理时会给显存带来灾难的问题。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种三维点云重建方法、装置及电子设备。

背景技术

目前，在AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)等场景中，常常需要对人体、人脸、人手或物体等对象上贴精细纹理。

为满足上述需求，需要对3D(Dimension，维)点云进行超分处理，即将3D点云包括点的数量由少变多。目前，主要采用基于非参数化回归3D点云的网络模型，对3D点云进行超分处理。这种网络模型的复杂度随着需求的3D点云包括点的数量的增加而增加。随着需求的3D点云包括点的数量的增加，甚至会给显存带来灾难，甚至会爆显存。

申请内容

本申请实施例的目的在于提供一种三维点云重建方法、装置及电子设备，以降低超分处理的网络模型的复杂度，解决对3D点云进行超分处理时会给显存带来灾难的问题。具体技术方案如下：

第一方面，本申请实施例提供了一种三维点云重建方法，所述方法包括：

获取目标对象的原始三维点云，所述原始三维点云包括第一数量个点；

按照第一预设映射关系，对所述原始三维点云进行UV展开，得到原始UV图像，所述第一预设映射关系为包括第一数量个点的三维点云与UV图像之间的映射关系；

将所述原始UV图像输入预先训练好的图像超分模型，得到所述目标对象的目标超分UV图像，所述图像超分模型为根据预设训练集对卷积神经网络进行训练得到的模型，所述预设训练集包括样本对象的样本低分UV图像和样本超分UV图像，所述样本低分UV图像为按照所述第一预设映射关系对包括所述第一数量个点的三维点云进行展开得到的UV图像，所述样本超分UV图像为按照第二预设映射关系对包括第二数量个点的三维点云进行展开得到的UV图像，所述第二预设映射关系为包括第二数量个点的三维点云与UV图像之间的映射关系，所述第一数量小于所述第二数量；

按照所述第二预设映射关系，对所述目标超分UV图像进行采样，得到所述目标对象的超分三维点云。

可选的，所述图像超分模型采用如下步骤训练得到：

获取所述预设训练集，所述预设训练集包括所述样本低分UV图像和所述样本超分UV图像；

将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像；

根据所述预测超分UV图像和所述样本超分UV图像，确定所述卷积神经网络的损失值；

若根据所述损失值确定所述卷积神经网络未收敛，则调整所述卷积神经网络的参数，并重新执行所述将所述样本低分UV图像输入卷积神经网络，得到预测超分UV图像的步骤；

若根据所述损失值确定所述卷积神经网络收敛，则结束训练，将所述卷积神经网络作为图像超分模型。

可选的，所述获取所述预设训练集的步骤，包括：