[发明专利]一种基于嵌入空间的单幅图像三维零件组合式建模方法

说明书

本发明提出了一种基于嵌入空间的单幅图像三维零件组合式建模方法，借助嵌入空间，对图片对象的部件模型进行检索，并将检索结果进行拼接，作为最终建模结果。该方法由五个步骤组成：对象级嵌入空间构建步骤，零件级嵌入空间构建步骤，基于嵌入空间的模型检索步骤，零件级模型的变形和摆放步骤和拼接结果选择步骤。本发明实验验证，具有可行性、准确性和通用性，可用于多种类别的对象三维建模中。

技术领域

本发明属于计算机图形学与计算机视觉的技术领域，主要涉及一种基于单张图片的零件级组合式三维建模方法。

背景技术

计算机图形学是一种利用数学算法，把二维或三维图形转换为计算机显示器的栅格形式的科学，其主要研究内容就是使用计算机表示图形、利用计算机进行图形计算、处理和显示的原理与算法。虚拟现实可以说是计算机图形学的重要应用之一。而作为虚拟现实世界对象的来源，三维模型的获取、构建与计算也是计算机图形学的研究内容中重要的一部分。传统上的建模一般是由人手工过建模软件完成三维模型的设计，包括CAD、Maya、3DMax等软件。但随着对模型的使用和研究的需求的增加，手工构建的模型越来越难以满足人们的需要，不论是对于简单模型的数量需求，还是对现实中对象建模的难度需求。因此如何让计算机进行快速地、自动化地建模，仍有待人们去探索。

现有方法包括2011年和2012年斯坦福大学的Siddhartha Chaudhuri等人提出的半自动化的建模方法、2013年Chen T等人提出了一种对单幅图像上进行交互式建模的方法、2015年，Chen X等人提出对服装的建模方法、2016年，Jaiswal P等人提出在无标注的CAD数据集上进行建模的方法。

以上方法存在以下问题：

部分方法需要用户参与，没有实现全自动的建模方法；需要针对每个类别进行结构分析和单独建模，无法实现类别无关的建模方法；没有实现输入单张图片，进行零件级组合式建模的方法；输出为点云模型或体素模型，不能将CAD模型作为输出结果。

发明内容

本发明的技术解决问题：克服现有方法的不足，提供一种基于嵌入空间的单幅图像三维零件组合式建模方法，以图片作为指导进行建模，结果更符合用户的需要，不会存在建模结果单一的情况，同时，零件级建模保证了在数据集规模不必太大情况下结果和图片对象尽可能相似，而且也实现了类别无关的建模方式，不再只针对单个类别的建模。

本发明的技术解决方案：

使用三维CAD模型数据集构建生成模型对象、部件和图片的嵌入空间，并将嵌入空间用于图片对象的对象检索、部件检索、部件拼接等步骤，最后对拼接结果进行位姿估计和拼接结果选择。

一种基于嵌入空间的单幅图像三维零件组合式建模方法，包括如下步骤：

步骤1：对象级嵌入空间构建步骤，建立起图像和对象级模型之间的联系，利用图像进行对象级模型检索；

步骤2：零件级嵌入空间构建步骤，建立起图像和零件级模型之间的联系，利用图像进行零件级模型检索；

步骤3：基于嵌入空间的模型检索步骤，利用步骤1检索出对象级模型，再利用步骤2对检索出的对象级模型拆分的零件进行检索和排序，获得一组零件级模型；

步骤4：零件级模型的变形和摆放步骤，对步骤3中检索的零件级模型进行全组合拼接，并对每两个零件进行相对尺度和空间位置的预测，获得多个拼接后的模型；

步骤5：拼接结果选择步骤，将步骤4中的拼接后的模型与原始输入图片进行比较，选择出与原始输入图片中的对象最接近的拼接结果。

所述步骤1的对象级嵌入空间构建步骤具体如下：

步骤(1.1)使用零件级标记的CAD模型数据集，对模型对象的obj文件进行合成，将所有需要嵌入的类别对象级模型进行环绕角度和指定位姿的渲染，获得无背景的所有渲染图片；