[发明专利]基于对抗网络的快速多视角三维合成和展示方法及装置

摘要

基于对抗网络的快速多视角三维合成和展示方法及装置，对某一视角下深度图和RGB图进行处理，利用构建生成对抗网络（GAN），便可得到连续的多视角下物体的二维映射，无需对三维模型进行重建，仅仅对某一视角下深度图和RGB图进行处理，无需重建高质量的三维模型，便可得到连续的多视角下物体的二维映射，通过变换视角，可以实时的获取该二维图像，简化了三维物体展示的流程，能实现对三维物体的多视角的实时较高质量的展示。

主权项

基于对抗网络的快速多视角三维合成和展示方法，其特征在于：对某一视角下深度图和RGB图进行处理，利用构建生成对抗网络（GAN），便可得到连续的多视角下物体的二维映射，其具体实现方法是：步骤一、学习过程1.1、获取目标物体多视角下的RGB图像P和其对应的深度图像D，并且记录其视点位置V，得到有多个(P,D,V)构成的一个数据集；1.2、从数据集中随机取出两组数据作为输入，构建出一个训练样本，对训练样本进行特征提取和变换，将一组数据作为原图像，将另一组数据的视点位置作为新视角位置，得到了一个粗糙的在原图像在新视角下的投影RGBD图像；1.3、构建生成对抗网络GAN，将粗糙的RGBD图形与一个均匀分布的随机数产生器产生的一组随机变量Z输入GAN的生成器中得到生成器生成图像，将粗糙的RGBD图形与原图像作为判别图像，与生成器生成图像一起输入CAN的判别器判别真假，通过最大化判别器的差别能力和最小化生成器的分布损失函数，得到最优图像结果，生成对抗网络CAN的整体参数；步骤二、合成过程在完成上述学习部分后，任意的给定一个物体的RGB图p和相应的深度图d，给定一个视角v, 将其进行视角变换后的得到的粗糙的RGBD图像输入GAN网络中，便可得到该视角下的生成图像，保持RGB图和深度图不变，变换视角位置v，便可得到不同视点下的RGB图像，即得到了对该物体多视角下的展示图。