[发明专利]测量设备和控制方法

说明书

技术领域

本发明涉及一种在摄像设备拍摄测量对象的图像时使用该测量对象的模型来测量该摄像设备的位置和方位的测量设备和控制方法。

背景技术

例如，在提供现实空间和虚拟空间的组合显示的混合现实感系统中，需要测量拍摄现实空间的图像的照相机(以下将其适当称为照相机)等的摄像设备的位置和方位。

过去，采用具有的已知3D位置的标记的方法是众所周知的用于测量摄像设备的位置和方位的方法。在该方法中，使用在拍摄图像中检测到的标记在拍摄图像内的位置与通过基于摄像设备的大致的位置和方位将标记的3D位置投影在成像平面上所获得的投影位置之间的距离作为误差，并且估计位置和方位以便优化使该误差最小化的目标函数。而且，所采用的标记通常具有特殊的易于检测的几何或色调相关的特征。

此外，已公开了一种利用测量对象的模型来测量位置和方位的方法，在该方法中，采用测量对象的结构，并且将构成测量对象的平面的边界视为边缘。应该注意，这里所使用的术语“边缘”是指在拍摄图像中观察到浓度的较大变化的区域。

Tom Drummond和Roberto Cipolla在“Real-time visualtracking of complex structures”，IEEE Transactions of PatternAnalysis and Machine Intelligence.Vol.24，No.7，pp.932-946，2002(以下称之为文献1)中说明了一种借助作为测量对象的几何特征的线段(称为测量线段)来估计位置和方位的方法。在该方法下，从摄像设备的大致的位置和方位来看，将测量线段的三维位置投影在成像平面上，并且通过利用在拍摄图像中所检测到的边缘与投影测量线段之间的距离作为目标函数，来估计位置和方位。

以下给出该技术的概述。

-使用大致估计的位置和方位，将来自测量对象的测量线段投影在拍摄图像上。

-通过搜索投影测量线段附近的拍摄图像中的像素，获得浓度发生局部变化的边缘区域的位置。

-执行优化，从而缩小投影测量线段与边缘区域的位置之间的距离。

-更新估计的位置和方位的值。

由于只要已知对象3D模型，就可以使用对象3D模型作为测量设备的测量对象，因而这种基于使用测量对象中存在的测量线段的位置和方位估计具有广泛的应用范围。另外，在上述估计中，拍摄图像内的边缘搜索的范围仅限于投影测量线段周围的图像。因此，这提供如下优点：与在从整个拍摄图像通过图像处理检测边缘时获得模型的距离的方法相比，可以缩短处理时间。因此，该位置和方位估计已用于头部位置估计等的混合现实感中需要实时处理的摄像设备的对准。

在文献1中，使用形状相对简单的测量对象作为测量对象，并且摄像设备与测量对象之间的距离改变也不大。因此，在视野中的测量对象模型的方位发生微小变化时，在所观察的边缘几乎不发生变化，这使得位置和方位的估计成为可能。

在实际环境中，通常将测量对象的影子等视为边缘，这通常使得位置和方位估计不可靠。在L.Vac chetti，V.Lepetit和P.Fua的“Combining edge and texture information for real-timeaccurate 3D camera tracking”，Proceedings of InternationalSymposium on Mixed and Augmented Reality，pp.48-57，2004(以下称之为文献2)中，将所观察的多个边缘的其中一个与测量线段相关联，并且进行优化计算，从而最小化关联边缘与投影在成像平面上的测量线段之间的距离。根据文献2，在包括待测量的边缘以外的边缘的环境中，可以利用用以通过重复使用上述关联相关的假定使得误差最小化所执行的收敛，来进行鲁棒的位置和方位估计。

迄今为止提出的方法在测量对象与观察该测量对象的摄像设备之间的相对位置关系变化不大时都可以很好地工作。然而，当摄像设备与人的运动结合时，即，当人为了导航等握持摄像设备本身并且移动时，就会出现问题。这些问题是由于以下事实而引起的：当人围绕建筑物或在户外行走时，测量对象和摄像设备的相对位置发生相当大的变化。