[发明专利]基于深度卷积神经网络的三维模型检索方法

说明书

本发明公开了基于深度卷积神经网络的三维模型检索算法，该方法采用度量学习算法得到一个欧氏嵌入空间,将手绘草图与模型投影嵌入同一特征空间，在该特征嵌入空间中的欧氏距离可以直接代表草图和模型投影之间的相似度，解决了草图与模型投影图之间的跨域匹配问题。同时设计一种排序机制，使得在该特征空间中同类别图像之间的距离小于不同类别图像之间的距离，可以区分不同类别间的细微差异并且适应同类别不同风格的变体；并且本发明采用卷积神经网络来学习超完备的特征过滤器组组成特征提取器，提取出高级抽象特征，有效的解决了手工设计的低级几何特征描述子的算法泛化能力弱，难以扩展到未知数据集的问题。

技术领域

本发明属于计算机视觉技术领域，涉及基于深度卷积神经网络的三维模型检索的方法。

背景技术

目前三维模型已经在诸如虚拟现实、工业设计、3D游戏和视觉设计等领域广泛应用。随着三维图形建模技术和三维数据获取技术的发展，产生了海量的三维模型数据库。因此，为了充分利用现有的三维模型，帮助用户方便高效的获取符合需求的三维模型，三维检索技术成为当前热点研究问题。

三维模型检索的工作流程是根据用户输入的查询请求，在模型数据库中搜索出相关的模型集合最终反馈给用户。一类算法通过已有三维模型作为输入表达查询意图，但通常用户难以获取合适的现有模型用来查询。另一类算法通过文字描述目标模型来表达查询意图，但用户通常难以用语言精确的描述目标模型，而且模型库通常也没有充分标签化，因此这种算法使用场景也十分有限。人类自从史前时期就已经使用手绘草图来描绘视觉世界了，直至今日，手工绘制草图可能是唯一一种所有人都具备的绘画能力。近期的神经科学研究表明：大脑认知简单抽象的草图的方式和认知真实世界物体的方式相同。因此，手绘草图作为一种方便快捷的交互方式可以更好的表达用户的查询意图。

在基于手绘草图的三维模型检索算法中，用户通过绘制二维草图表达查询意图，而直接匹配二维草图和三维模型十分困难，通常此类检索算法首先根据非真实感渲染技术(Non-Photorealistic Render)在多个视角下渲染出三维模型的二维投影图，将问题映射为单个查询草图和数据库中目标模型生成的若干张投影图之间的相似度匹配问题，然后通过匹配用户输入的草图和模型投影图完成检索。手绘草图及模型投影示意如图2所示。基于手绘草图的三维模型检索具有以下特点及挑战：(1)手绘草图由于经过人脑的艺术加工处理，具有很强的抽象性，而三维模型是参照现实世界中的物体建模产生，具有精确性，从而三维模型的二维投影图也具有与手绘草图不同的写实风格。二者处于不同域，难以直接进行相似度计算，这给相似度度量造成很大挑战，需要检索算法能很好的解决跨域匹配(Cross Domain Matching)问题。(2)手绘草图是二值线条信息，与自然图像相比缺少颜色和纹理信息，不同物体通常被绘制成相似的草图，例如轮胎和甜甜圈绘制成草图后，由于缺乏颜色和细节纹理信息，变得很难区分，这对检索算法区分不同物体之间差异的能力提出极高的要求。(3)由于不同用户的思维方式、领域背景知识和手绘习惯偏好等不同，对同一物体的绘制会产生风格迥异，抽象程度不同，形状外观相去甚远的草图，如图2中对同一模型绘制的草图几何外观差异很大。这就对检索算法对同类模型图像的大量变体有极高的适应性。(4)由于模型数据库规模巨大，为了使检索系统在大规模数据集上有较强的可用性，对检索算法的计算效率提出很高要求。(5)由于算法设计阶段掌握的样本数量有限，当检索系统上线运行时会遇到大量未知样本数据，所以要求算法有较强的泛化能力。

特征提取算法是三维模型检索最重要的环节，特征表达能力的强弱直接影响查询效果。传统的基于手工设计特征描述子的算法都基于一个基本假设：手绘草图和模型及其投影之间的风格差异造成的跨域匹配问题可以很容易的通过手工设计的描述低级几何信息的视觉特征描述子解决。但事实上，在扩展到大规模数据集时，由于手绘草图风格千变万化，模型外观复杂度上升，很难实现通过手工设计的特征描述子来解决跨域匹配问题。同时，手工设计的特征描述子往往泛化能力(generalization ability)弱，难以适应未知数据集，限制了在线查询系统的可扩展性。