[发明专利]对三维空间建模

说明书

本文描述的某些示例涉及对三维空间建模。来自至少一个捕捉装置的图像数据用于生成三维空间的三维模型。在某些示例中，基于至少一个模型属性，将三维模型分割成有效和无效部分。这些示例被配置为使用有效部分随时间更新三维模型。还执行配准，以随时间将三维模型的有效部分与三维模型的无效部分对准。所述配准使得在观察三维空间的区域之后生成的三维模型的有效部分与在所述区域的至少一个先前观察之后生成的模型的无效部分对准。

技术领域

本发明涉及对三维空间建模。本发明特别地但不是排他地涉及使用来自捕捉装置的图像数据生成或更新三维空间的三维模型。

背景技术

在计算机视觉和机器人领域，通常需要构建三维空间的表示。构建三维空间的表示，允许将真实世界的环境映射到虚拟或数字领域，在那里可以被电子装置使用和操纵。例如，可移动的机器人装置可能需要三维空间的表示，以允许同时定位和映射，并因此导航其环境。或者，三维空间的表示可以使得能够识别和/或提取该空间内的对象的三维模型。这些可用于对真实世界环境执行测量和/或用于产生三维复制，例如，通过添加制造系统。类似地，在三维空间中检测人体部位可以实现新颖的人机交互，使得能够使用物理世界中的活动来操纵对象的虚拟表示。

有几种技术可用于构建三维空间的表示。例如，运动和多视角立体的结构是可以用来这样做的两种技术。许多技术从三维空间的图像(例如，角落和/或边缘)提取特征，例如，使用尺度不变特征转换(SIFT)和/或加速鲁棒特征(SURF)算法。然后可以将这些提取的特征在图像之间关联，以建立三维表示。使用更少数量的点或特征来生成表示的某些技术被称为“稀疏”技术。例如，这些技术可以使用10到100个特征和/或点来生成表示。这些可能与生成具有数千或数百万个点的表示的“密集”技术形成对比。“稀疏”技术具有更容易实时实现的优点，例如，以每秒30帧左右的帧速率；使用有限数量的点或特征限制了构建三维表示所需的处理程度。相对而言，由于计算需求，所以更难以执行三维空间的实时“密集”映射。例如，通常优选离线进行三维空间的“密集”映射，例如，从30 分钟提供的图像数据中生成“密集”表示可能要花10个小时。

当从移动的捕捉装置生成三维空间的表示时，存在确定捕捉装置在空间内的位置和方向以及处理不可预测的运动的挑战，例如，延长的“不断变向”或“一圈圈”的运动。例如，非均匀地形或手持式捕捉装置可能导致捕捉装置位置和方向的频繁变化，并且自主机器人装置可能重新访问三维空间内先前捕捉的位置。图像数据的捕捉也可以是实时连续的，导致大量的捕捉数据。这些因素都对现实世界系统提出了挑战；很多技术可能会以有限的数据或严格定义的捕捉轨迹显示成功，但是却很难从自主机器人装置或移动计算装置实时构建表示。

在T.Hewlan、M.Kaess、H.Johnsson、M.F.Fallon、J.J.Leonard和J.B. McDonald在2014年的国际机器人研究杂志上发表的论文Real-time Large Scale Dense RGB-D SLAMwith Volumetric Fusion中，定义基于体素的空间域，其中，位姿图和云片用来构建体积模型。SURF描述符与用于地点识别的基于词袋的环路检测器一起使用。

类似地，在WO2014/202258中描述了一种用于映射环境的方法，其中，生成位姿图，位姿图的每个节点包括相应的云片。

发明内容

根据本发明的一个方面，提供了一种用于生成三维空间的模型的设备，包括：图像采集接口，其被配置为获得由捕捉装置提供的图像数据，所述图像数据表示随时间在三维空间与捕捉装置之间存在相对运动的观察(observation，观测)；以及模型引擎，其被配置为处理由所述图像采集接口获得的图像数据并计算三维空间的三维模型，其中，所述模型引擎包括：模型分割器，其被配置为基于至少一个模型属性将所述三维模型分割成至少有效和无效部分，其中，所述模型引擎被配置为使用所述三维模型的有效部分来随时间更新所述模型；以及配准引擎，其被配置为随时间将三维模型的有效部分与三维模型的无效部分对准。