[发明专利]一种大场景的三维重建方法、装置及设备

权利要求书

1.一种大场景的三维重建方法，其特征在于，包括：

根据采集的RGBD关键帧构建多个子图，并基于所述多个子图构建目标场景对应的初始三维模型；

对所述初始三维模型进行语义分割及实例分割，获得所述初始三维模型包含的语义标签和实例标签；

根据所述语义标签检测所述初始三维模型中包含的房间，确定为新的房间；

根据所述新的房间包含的实例标签对历史房间进行回环检测，获得与所述新的房间属于同一房间的历史房间；

对所述多个子图的位姿进行优化，并基于优化后的多个子图构建目标三维模型。

2.根据权利要求1所述的方法，其特征在于，根据采集的RGBD关键帧构建多个子图，包括：

将第一设定数量的RGBD关键帧构建为一个子图；

将所述子图存储至设定队列中；

当所述设定队列存满时，将最早存入所述设定队列的子图发送至外部存储器存储，并将所述子图进行简化，将简化后的子图存入设定缓存中；

相应的，基于所述多个子图构建目标场景对应的初始三维模型，包括：

基于所述设定队列中的子图以及简化后的子图构建目标场景对应的初始三维模型。

3.根据权利要求1所述的方法，其特征在于，所述语义标签包括地面标签及墙壁标签；根据所述语义标签检测所述初始三维模型中包含的房间，确定为新的房间，包括：

将语义标签为地面的三维点构成的平面确定为目标平面；

将语义标签为墙壁的三维点沿法向投影至所述目标平面，获得二维结构图；

对所述二维结构图进行连通性检测，若投影至所述目标平面的墙壁三维点形成闭合区域，则所述初始三维模型中包含房间；

将所述闭合区域对应的三维空间确定为新的房间。

4.根据权利要求1所述的方法，其特征在于，根据所述新的房间包含的实例标签对历史房间进行回环检测，获得与所述新的房间属于同一房间的历史房间，包括：

获取所述新的房间包含的至少一个实例的第一嵌入向量集和历史房间包含的至少一个实例的第二嵌入向量集；

基于所述第一嵌入向量集和所述第二嵌入向量集计算所述新的房间与历史房间的相似度；

对所述相似度按照从大到小进行排序，将排序靠前第二设定数量的历史房间确定为目标房间；

对所述新的房间和所述目标房间进行几何验证，获得与所述新的房间属于同一房间的历史房间。

5.根据权利要求4所述的方法，其特征在于，获取所述新的房间包含的至少一个实例的第一嵌入向量历史房间包含的至少一个实例的第二嵌入向量，包括：

获取所述新的房间包含的至少一个实例分别对应的第一三维子图，将所述第一三维子图输入设定卷积神经网络，获得第一嵌入向量集；

获取所述历史房间包含的至少一个实例分别对应的第二三维子图，将所述第二三维子图输入所述设定卷积神经网络，获得第二嵌入向量集。

6.根据权利要求5所述的方法，其特征在于，所述设定卷积神经网络包括稀疏卷积层、普通卷积层、最大值池化层和全连接层；且所述设定卷积神经网络按照如下损失函数进行训练：

；

其中，d(•,•)为欧式距离函数，f(•)代表所述设定卷积神经网络；P_i和P_j分别为两个随机选择的实例的三维子图的点云数据，为将P_i 沿z轴随机旋转所得的点云；m为边界参数。

7.根据权利要求4所述的方法，其特征在于，基于所述第一嵌入向量集和所述第二嵌入向量集计算所述新的房间与历史房间的相似度，包括：

计算所述第一嵌入向量集中各第一嵌入向量分别与所述第二嵌入向量集中各第二嵌入向量间的距离，获得多个距离值；

确定所述第一嵌入向量集包含的第一嵌入向量数量和所述第二嵌入向量集包含的第二嵌入向量数量；

计算所述第一嵌入向量数量和所述第二嵌入向量数量的乘积；

将所述多个距离的求和值与所述乘积作商，获得所述新的房间与历史房间的相似度。