[发明专利]一种基于文本的三维室内场景重建方法

权利要求书

1.一种基于文本的三维室内场景重建方法，其特征在于，包括如下步骤：

(1)从输入的描述室内场景的文本数据中利用深度语义分析模型抽取出其中三维模型词语和描述三维模型之间显式空间关系的文本并将其以三元组的形式进行存储，三元组的形式为三维模型A-显式空间关系-三维模型B；

(2)将无法通过深度语义分析模型抽取出显式空间关系的三维模型词语对通过对照空间知识图谱进行隐式空间关系的抽取，其形式为三元组；空间知识图谱是由三维模型之间存在的先验空间关系的三元组构成，能有效地弥补文本描述中对于常识性空间关系知识的缺失，以便重建更为完整的三维室内场景；

(3)利用从描述室内场景的文本数据中抽取的三维模型词语通过与三维模型数据库中的标签进行相似度计算并从中抽取与文本中三维模型词语最为相似的三维模型；

(4)在步骤(1)中抽取出的描述三维模型之间显式空间关系的三元组和步骤(2)中抽取的隐式空间关系的三元组的指导下，实现对步骤(3)中抽取的与文本中三维模型词语相似度最高的标签所对应的三维模型进行放置，还原文本数据对三维室内场景的描述，用于实现对用户输入文本的智能辨别和对室内场景的重建。

2.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：只需要输入描述室内场景的文本数据，就能通过深度语义分析模型得到其中描述三维模型的词语以及描述三维模型之间显式空间关系的文本，利用三元组对显式空间关系进行存储；将无法通过深度语义分析模型抽取出显式空间关系的三维模型词语对通过对照空间知识图谱进行隐式空间关系的抽取，其形式为三元组；接着利用文本中的三维模型词语与三维模型数据库中的标签进行相似度计算并抽取出与文本描述最为相似的三维模型；最后在显式空间关系和隐式空间关系三元组的指导下，对从三维场景数据库中抽取的三维模型进行放置，完成对三维室内场景的重建。

3.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(1)中，基于深度语义分析模型对输入文本进行处理，抽取出文本中的三维模型词语和描述三维模型之间显式空间关系的文本，并将其以三元组的形式进行存储，其具体步骤如下：

(1.1)设计从描述室内场景的文本数据中识别出三维模型词语的文本识别网络；

(1.2)在步骤(1.1)的基础上，基于深度学习技术设计抽取三维模型间显式空间关系的关系抽取网络；

(1.3)利用三元组对步骤(1.2)中抽取出来的显式空间关系进行存储，其形式为三维模型A-显式空间关系-三维模型B。

4.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(2)中，对照蕴含常识性空间关系的空间知识图谱，抽取出无法通过深度语义分析模型得到显式空间关系的三维模型词语对中存在的隐式空间关系，用于弥补输入的文本数据在先验空间关系知识方面的不足，其具体步骤如下：

(2.1)在步骤(1)中三维模型间的显式空间关系抽取结束后，找出无法抽取出显式空间关系的三维模型词语对；

(2.2)将步骤(2.1)中的词语对输入到空间知识图谱中，用于抽取出三维模型间可能存在的所有隐式空间关系，每种隐式空间关系都具有对应的置信度得分。

5.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(3)中，利用在步骤(1)中抽取出的三维模型词语，与三维模型数据库中的标签进行相似度计算，抽取出与三维模型词语最为相似的标签对应的三维模型，其步骤如下：

(3.1)将步骤(1)中抽取的三维模型词语作为从三维模型库中抽取所需三维模型的输入；

(3.2)通过计算输入的词语与三维模型库中标签间的欧式距离，选择距离最小的三维模型标签对应的三维模型作为用于室内场景重建的三维模型。

6.根据权利要求1所述的一种基于文本的三维室内场景重建方法，其特征在于：在步骤(4)中，将从步骤(3)中得到的用于室内场景重建的三维模型，在步骤(1)和步骤(2)中得到的显式空间关系和隐式空间关系三元组的指导下，完成对三维室内场景的重建。