[发明专利]一种用于从二维图像识别三维模型对象的方法

说明书

本发明公开了一种用于从二维图像识别三维模型对象的方法，包括以下步骤：提供3D建模对象；摄像机的汤姆逊球计算3D建模对象上的位置从中获得多个视点摄像机位置；为每个视点计算二维图像；低噪声二维图像的选择；将每个选定的2D图像与标签；提供从三维建模对象渲染的二维图像的第一集合，所述第一集合中的每个二维图像被关联到标签；提供非从三维对象渲染的二维图像的第二集合，所述第二集合中的每个二维图像被关联到标签；在第一集合和第二集合两者上训练模型；提供相似度度量；提交描绘至少一个对象的二维图像；通过使用所训练的模型和所述相似度度量来检索与所提交的二维图像的所述至少一个对象相似的三维对象。

技术领域

本发明涉及计算机程序和系统领域，并且更具体地涉及用于从表示对象的图像或照片中检索3D对象的数据库中的三维(3D)对象的方法。

背景技术

现有的三维(3D)对象检索方法可被归类为：(i)直接在3D内容上操作的方法，以及(ii)提取“2.5D”或2D内容(立体对、图像的多个视图、人工渲染的3D对象、轮廓等)的方法。

现在集中于基于2D图像的“2D到3D”检索框架作为用于执行检索的输入，包括边界分析的一些基于形状的方法已经适于从(一个或多个)2D图像检索3D对象。

例如，T.Napoleon在EURASIP Journal on Image and Video Processin g，2010中的“From 2D Silhouettes to 3D Object Retrieval：Contribut ions andBenchmarking”用多个轮廓图像进行3D对象搜索。查询不仅包括2D轮廓，还包括手绘草图。值得注意的是，本文档介绍包括以用于搜索效率的粗略到精细的方式使用动态程序的轮廓(silhouette)/外形(contour)对准的想法。然而，该方法的重要缺点是性能对由自动迂回造成的外形的质量敏感，这仍然是巨大的挑战。

作为从2D图像进行3D检索的另一个示例，Aono等人在Signal&Informa tionProcessing Association Annual Summit and Conference(APSIPA AS C)，2012中的“3DShape Retrieval from a 2D Image as Query”使用复合特征向量作为用于从单个2D图像进行3D对象检索的Zernike矩和HOG特征的组合。HOG特征是从阴影深度缓冲图像计算的，而Zernike矩是从轮廓图像计算的。这些特征可能不足以区分具有相同整体形状的相似对象。此外，它们经常在部分遮挡的对象的情况下失败。

“2D到3D”匹配的其它方法利用用于有效的对象检测和/或精细姿势估计的3D模型。为此，它们依赖于它们从大量的视点渲染的3D示范模型的集合。渲染的图像然后用于学习部分模板以定位给定图像中的对象并估计其精细姿势。这样的方法的主要缺点是它们需要繁重的注释和计算。因而不可扩展。为了学习有意义的模型，它们需要将每个可用的CAD模型关联到包含相同的CAD模型并且用对象姿势注释的一组图像。

用2D图像查询3D对象的数据库还用于在Q.Huang等人在CVPR 2015中的“Single-View Reconstruction via Joint Analysis of Image and Shap e Collections”中的Web图像中描绘的对象的自动3D重建。该方法从单个视图重建对象。关键思想是与现有3D模型的较小集合一起联合地分析不同对象的图像集合。在自然图像和渲染的图像之间建立密集像素级别对应。这些对应用于联合地分割图像和3D模型。计算的分割和对应然后用于构造新模型。然而，这样的方法对分割的质量敏感，并且因此会在具有复杂背景和部分遮挡的对象的图像的情况下失败。