[发明专利]基于前景物体再现扩增实境

说明书

移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多者。所述物体可通过以下操作检测到：使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一者扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。

相关申请案的交叉参考

本申请案主张2013年1月3日申请且标题为“基于前景物体再现扩增实境(Rendering Augmented Reality Based on Foreground Object)”的第13/733,740号美国申请案的权利及优先权，所述申请案转让给本受让人且以引用的方式并入本文中。

技术领域

本文中所描述的主题的实施例大体上是有关于检测及追踪一系列所捕捉图像(例如视频流)中的可移动物体，且更明确地说是有关于使用可移动物件与再现于所捕捉图像的显示中的扩增互动。

背景技术

在扩增实境(augmented reality，AR)应用中，对现实世界物体成像且将其与电脑产生信息(例如图像、图形或文字信息)一起显示于屏幕上。电脑产生信息再现于现实世界物体上方且可用以(例如)提供关于现实世界物体的图形或文字信息或用于娱乐目的(例如动画或游戏)。然而，用户通常与显示于AR型应用中的再现物体互动的能力是有限的且非直观的。

用户用来与再现物体互动的当前方法通常使用装置上的物理输入元件，例如按钮或触摸屏。用以用户与再现扩增之间的互动的另一方法被称作虚拟按钮。用户可通过利用例如手指的物体将成像场景的预先指定区域遮蔽(occluding)而与虚拟按钮互动。预先指定区域的遮蔽可以肉眼检测到，且作为回应，可执行动作。然而，具有虚拟按钮的所得扩增在用户不与虚拟按钮互动时是有限的，如同虚拟按钮与用户实际上存在于同一空间中。

发明内容

移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多个。所述物体可通过以下操作检测到：使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一个扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。

在一个实施方案中，一种方法包含：捕捉场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点；使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。

在一个实施方案中，一种设备包含：摄像机；显示器；以及处理器，所述处理器耦合到所述显示器且耦合到所述摄像机以接收场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含作为独特物理方面的关注点，所述处理器经配置以进行以下操作：使所述图像及所述场景的不包含所述前景物体的参考图像中的至少一者扭曲，因此所述图像及所述参考图像具有相同视图；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点；在所述显示器上显示所述图像；以及基于所述关注点在所述显示器上于所述图像上方再现扩增。