[发明专利]多视角投影与三维注册联合的手绘场景三维建模方法

说明书

技术领域

本发明涉及一种多视角投影与三维注册联合的手绘场景三维建模方法，属于三维模型检索和增强现实的技术领域。

背景技术

随着三维技术的发展，三维模型和三维场景这种更加接近真实世界的三维空间描述方式，在交通、医学及娱乐等多个领域得到了越来越广泛的应用。三维场景的展现，首先要解决的技术问题是：“如何构建三维模型”。但是，构建三维模型所需的代价往往十分巨大。而且，随着三维建模方法的发展，三维模型相关应用的增加以及互联网的快速发展，可用三维模型的数量也在飞速增长；这就使得通过现有的三维模型来展现三维场景，已经成为近年来的主要发展趋势。这样，上述问题就逐渐演变为“如何快速而准确地找到可用的三维模型”，于是，对三维模型的检索就变得尤为重要。

目前基于文本（标签，关键字）的检索方法发展比较成熟，但是，其输入带有较强的主观性，会明显地影响检索结果。而且，基于内容的检索方法是以三维模型作为输入，并通过模型之间的内在特征的相似性进行检索。因此其检索结果更加可靠，也是目前该技术领域的主要研究方向。许多国内外知名学者和科研机构都开展了相关的研究工作，并逐步取得了很多突破性地进展。

例如：在《谷歌形状：基于几何词语及表达的不变形状检索》（“Shape Google:Geometric Words and Expressions for Invariant Shape Retrieval”发表于《ACM Transactions on Graphics2011》）文章中，作者将图像检索中的视觉词语和词袋模型引入到基于实例的三维模型检索中，有效地提高了检索效率。

在《基于超图分析的三维模型检索与识别》（“3-D Object Retrieval and Recognition with Hypergraph Analysis”发表于《IEEE Transactions on Image Processing2012》）文章中，作者使用超图分析的方法进行了基于二维视图的三维模型检索的研究。

但是，这些方法也存在着难以获取检索所需的输入模型或输入视图等多项缺陷。这些现有技术的缺陷成为业内科技人员关注的焦点。

得到所需的三维模型以后，就可以利用这些三维模型进行三维场景的展现。目前比较常用也比较成熟的方法是在完全虚拟的环境中将三维模型进行拼接和融合，然后对该环境进行渲染，以模拟的方式来展现真实世界。然而，随着应用的不断发展，现有技术的展现方法不可避免地暴露出一些不容忽视的问题。例如：由于过度强调用户的沉浸感，从而造成系统对现实的隔离。这就产生了三维场景展现方法的新需求，即如何把虚拟物体融合到现实中，并实现用户与虚拟场景以及现实之间的交互。这些问题都成为业内技术人员所关注的新课题。

发明内容

有鉴于此，本发明的目的是提供一种多视角投影与三维注册联合的手绘场景三维建模方法，该方法从系统易用性和更好的用户体验的角度出发，由用户手绘所需要展现的三维场景的二维手绘图。然后以手绘图内容为输入，基于三维模型的多视角投影来检索三维场景展现所需的三维模型，实现更好的三维模型复用。最后通过三维注册算法将检索得到的三维模型与用户手绘的场景融合在一起，完成用户手绘场景的三维建模，最终得到虚拟与现实相结合的三维场景的展示，实现用户与虚拟以及现实之间的交互。

为了达到上述目的，本发明提供了一种多视角投影与三维注册联合的手绘场景三维建模方法，其特征在于，该方法包括下述两个操作步骤的实现阶段：

步骤1，预处理阶段：对三维模型库内的所有三维模型进行标准化预处理，以使系统预置的正多面体能将每个三维模型都包围在内；再在正多面体的各个顶点处设置虚拟摄像机，用于拍摄每个三维模型的各个不同角度的投影图，表示该三维模型的视觉形状信息；然后提取每个模型所有投影图的视觉特征，并依此建立三维模型特征库；

步骤2，执行处理阶段：用户手绘要展现的三维场景的每个三维模型的二维手绘图和为每个手绘图附设文字标签，还利用摄像机获取每个手绘图及其文字标签的数字图像；再针对这些数字图像中的手绘图及其对应的文字标签的区域进行处理：采用提取三维模型投影图视觉特征的相同方法提取手绘图的视觉特征，并将处理后的文字标签区域作为检索关键字，将手绘图的视觉特征与三维模型特征库中的三维模型特征进行相似度计算，检索得到三维场景所需要的三维模型；最后采用三维注册算法将相似度最大的三维模型投影到相应位置实现手绘场景的三维建模，并最终完成三维场景的展现。