[发明专利]基于多视图的物体3D形状重建方法

说明书

提供了基于多视图的物体3D形状重建方法。所提供的基于多视图的物体三维形状重建模型，该模型基于Pixel2Mesh的基本结构，从增加Convlstm层、增加Graph unpooling层、设计Smooth损失函数三个方面提出了一种改进的三维重建模型，实验表明，这种改进模型具有比P2M更高的重建精度。采用上述模型，首先对shapenet数据集中的物体真实网格模型、渲染图像和相机参数进行预处理，构建训练数据，然后训练多视图三维重建模型，最后通过该模型重建出图像对应的物体形状。

技术领域

本发明提出基于多视图的物体3D形状重建模型，属于图像数据处理_(G06T)及三维重建_(G06T17)领域。

背景技术

三维重建的主要目标之一是从二维图像恢复物体三维结构。近年来，随着虚拟现实、3D打印、自动驾驶、智能医疗和影视制作等产业的发展，人们对三维模型的需求出现了爆发式的增长，传统的手工建模方法已难以满足这一需求，准确高效的三维重建方法成为解决这一问题的关键。

在三维重建领域，传统的基于图像的重建算法一般利用特征匹配或模式适应等方式从图像或视频中恢复三维模型，然而由于图像二维特征的歧义性和稀疏性，这类方法往往存在较大的限制，无法适应各种场景下的重建任务，并且难以精确、鲁棒地重建出三维模型。

近年来，随着深度学习技术的迅速发展，愈来愈多学者开始聚焦于研究数据驱动的三维重建算法，例如，Choy等人(https://arxiv.org/pdf/1604.00449.pdf)使用Encoder-3DLSTM-Decoder的方式构建了体素生成的网络模型；Fan等人(https://openaccess.thecvf.com/content_cvpr_2017/papers/Fan_A_Point_Set_CVPR_2017_paper.pdf)解决了训练点云网络时候的损失问题，并基于此构建了生成点云模型的深度网络。利用深度学习技术从RGB图像生成三维模型的研究确实取得了巨大的成功，但是这类基于体素或点云表示模型的方法，都存在着不可忽视的问题，体素表示的三维物体相较于二维图像，计算量更大，需求内存更多，往往因计算和内存的限制，分辨率主要为32×32×32以下，因此重建后的精度往往达不到要求；而点云模型中的点由于缺少连接性，因而会缺乏物体表面信息，直观的感受就是重建后的表面不平整。

针对体素、点云表示模型的这些缺陷，Wang(https://openaccess.thecvf.com/content_ECCV_2018/papers/Nanyang_Wang_Pixel2Mesh_Generating_3D_ECCV_2018_paper.pdf)提出了基于图卷积神经网络的深度学习方法Pixel2Mesh，可端到端的生成具有丰富表面细节的网格表示模型，他们初始化一个固定的椭球，之后依据图像信息逐步形变以逼近目标几何形状。但是这种基于单一视图的方法，由于单张图像的不适定问题，通常只能生成从输入视角看起来合理，从其他视角看起来较差的3D网格形状。

ShapeNet(https://www.shapenet.org/)是目前三维重建领域最为权威的数据集之一，它包含了55种常见的物品类别和513000个三维模型，并且受益于Choy的工作，该数据集中13个类别下的模型对应着24张不同视角下的渲染图像，并且每张渲染图像的相机参数也被提供，因此可利用该数据集的多视图信息，在Pixel2Mesh基础上进行改进。

发明内容

本发明的目的是基于深度学习的理论与方法，研究新型的、高精度的多视图下的物体三维形状重建模型，能够利用物体多视角的渲染图像信息及相机参数重建出该物体对应的3D网格形状，且该模型优于当前最先进的三维重建模型。

本发明设计了一种基于多视图的物体三维形状重建模型，该模型基于Pixel2Mesh的基本结构，从增加Convlstm层、增加Graph unpooling层、设计Smooth损失函数三个方面提出了一种改进的三维重建模型，实验表明，这种改进模型具有比P2M更高的重建精度。