[发明专利]一种基于文本的三维室内场景重建方法

说明书

一种基于文本的三维室内场景重建方法，目的是让用户仅需输入自然语言文本，便可重建出文本描述的三维室内场景，其方法包括：将用户输入的室内场景文本数据利用深度语义分析模型抽取出文本中包含的三维模型的词语以及三维模型之间显式空间关系的描述文本；将抽取出来的三维模型词语对照空间知识图谱进行隐式空间关系抽取；利用从室内场景文本中抽取的三维模型词语通过与三维模型数据库中的标签进行相似度计算抽取与之最为接近的三维模型；基于深度语义分析模型得到的三维模型间的显式空间关系与对照空间知识图谱的得到的隐式空间关系，实现对抽取的三维模型的放置，还原文本数据对三维室内场景的描述，实现对用户意图的智能辨别和对三维室内场景的重建。

技术领域

本发明涉及基于深度学习的自然语言处理技术和文本特征提取技术，具体是涉及一种基于文本的三维室内场景重建的方法。

背景技术

自然语言是一种描述视觉创意和精神意象的简单而有效的媒介，基于自然语言的三维室内场景重建将人们从繁杂的软件学习和操作中解脱出来。在面向生活中各个领域的虚拟现实、增强现实、混合现实的诸多应用中，需要大量逼真的三维室内场景，供用户在其中进行各类交互活动。互联网的迅猛发展和日益普及使得相关文本这类简单却蕴含大量真实场景信息的数据的获取、聚集、存储、传输、处理、分析等变得越来越便捷。三维数据的数量不及文本数据，虽然在互联网上已经存在一些三维模型数据库，但仍需要进行三维模型的检索与生成，以便支持三维室内场景的重建。这些海量数据资源为三维室内场景生成的研究提供了必要的数据基础。因此开展基于文本的三维室内场景重建方法研究具有重要的理论意义和广泛的应用价值。

设计三维室内场景目前是一项富有创造性的任务，目前已有技术需要在使用复杂的三维设计界面方面拥有丰富的专业知识和精力。这种复杂的设计过程与人们直接用语言描述真实和虚构环境的容易程度形成了鲜明对比。我们介绍的这种方法，允许用户使用自然语言设计三维室内场景。用户提供输入文本，我们从中提取应该出现在场景中的三维模型和它们之间的显式空间关系和隐式空间关系。这样的优势在于，随着文本命令的更改，通过我们提出的方法，可以通过添加，移除，和替换对象来迭代地更改重建的场景。知识图谱是一个具有属性的实体通过关系链接而成的网状语义知识库。从图的角度来看，知识图谱在本质上是一种概念网络，其中的节点表示物理世界中的实体，而实体之间的各种语义关系则构成网络中的边.由此，知识图谱是对物理世界的一种符号表达。其基本组成单位是“实体－关系－实体”三元组，以及实体及其相关属性－值对，实体间通过关系相互联结，构成网状的知识结构。知识图谱的应用价值在于，它能够改变现有的信息检索方式，一方面通过推理实现概念检索(相对于现有的字符串模糊匹配方式而言)；另一方面以图形化方式向用户展示经过分类整理的结构化知识，从而使人们从人工过滤网页寻找答案的模式中解脱出来。

三维室内场景的生成是在获取相关数据的基础上，结合用户的上下文以及先验知识，对用户数据进行分析与推理，结合三维模型检索与生成、三维室内场景生成与渲染等技术，准确理解用户真实意图，生成三维室内场景。用户文本数据的分析与推理、三维模型检索与生成、三维室内场景的生成与渲染是根据用户数据生成三维室内场景的研究重点。虽然已经取得了许多成果，但对用户数据的理解较差，在三维室内场景的生成过程中存在三维模型间几何关系不精准、比例适配不均衡等问题。因此，需要结合文本，利用基于深度学习的自然语言处理技术和文本特征提取技术，对输入的文本数据进行深度语义分析与场景空间关系抽取，得到文本中涉及的三维模型，显式空间关系，以及对照空间知识图谱抽取得到的隐式空间关系，全面获取三维室内场景中三维模型之间的空间关系并完成对场景的重建。