[发明专利]一种基于多角度投射GAN的三维模型重建方法

说明书

本发明涉及模型重建技术领域，具体涉及一种基于多角度投射GAN的三维模型重建方法，包括：建立一个由多组生成器和鉴别器拼接形成的多角度投射GAN模型，并对所述多角度投射GAN模型进行训练；获取待重建目标多个角度的图像；将待重建目标多个角度的图像输入经过训练的所述多角度投射GAN模型中，由多角度投射GAN模型的各组生成器输出对应的预测三维模型；将所述预测三维模型作为对应待重建目标的三维模型重建结果。本发明中基于多角度投射GAN的三维模型重建方法能够有效降低误差和噪声影响，从而提高三维模型重建的准确性。

技术领域

本发明涉及模型重建技术领域，具体涉及一种基于多角度投射GAN的三维模型重建方法。

背景技术

在计算机视觉和计算机图形学中，三维重建是捕捉真实物体形状和外观的过程，作为点和其它信息集合的数据，三维模型可以手工生成，也可以通过算法生成。三维模型能够广泛用任何使用三维图形的地方。例如，在生产制造领域，已经开始实行分布式管理和控制，管理过程中，如何高效而准确的监测和控制产品质量变得至关重要。此时，准确重建产品的三维模型显得尤为重要，基于三维(可视化)模型可以从多个不同的角度去协助和控制高质量产品的生产，技术人员可以通过三维模型直观的观察产品的状态和质量，方便技术人员能及时有效的调整生产流水线。

深度学习模型的强大生成能力使其成为三维可视化模型建立的主要方法之一，例如，公开号为CN110223387A的中国专利就公开了《一种基于深度学习的三维模型重建技术》，其通过传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像，对深度图像进行图像增强过程，获得深度图像的二维信息，对深度图像进行点云计算，以场景的公共部分为基准对深度图像依次进行配准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，对点云数据进行融合处理，以获得更加精细的重建模型，计算机视觉知识推到出现实中物体的三维信息。

上述现有方案中的三维模型重建方法通过获取产品图像并结合深度学习的方式生成三维模型。但是，现有基于深度学习的三维重建方法大多是将预测的形状与真实的三维模型进行比较，进而通过损失函数的最小化来提升三维模型的预测准确性。然而，由于三维模型的多维性，在获取目标二维图像时很容易出现遮挡等问题，使得训练过程中，网络很难直接从二维图像中学习到有用的细节，使得生成的三维模型容易受到误差和噪声的影响，进而导致三维模型的重建准确性不好。申请人发现，生成对抗网络(GAN)具有学习和图像生成能力强的优势，更有利于三维模型的重建。因此，如何设计一种基于生成对抗网络且能够有效降低误差和噪声影响的三维模型重建方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于生成对抗网络且有效降低误差和噪声影响的三维模型重建方法，从而提高三维模型重建的准确性。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于多角度投射GAN的三维模型重建方法，包括以下步骤：

S1：建立一个由多组生成器和鉴别器拼接形成的多角度投射GAN模型，并对所述多角度投射GAN模型进行训练；

S2：获取待重建目标多个角度的图像；

S3：将待重建目标多个角度的图像输入经过训练的所述多角度投射GAN模型中，由所述多角度投射GAN模型的各组生成器输出对应的预测三维模型；

S4：将所述预测三维模型作为对应待重建目标的三维模型重建结果。

优选的，多组生成器之间通过组堆栈的方式进行连接，使得前一组生成器的输出能够作为后一组生成器的输入，并将最后一组生成器的输出作为多角度投射GAN模型输出的预测三维模型。

优选的，步骤S1中，通过如下步骤训练所述多角度投射GAN模型：

S101：基于每组生成器以及对应生成的鉴别器构成一组生成对抗网络；