[发明专利]基于前景物体再现扩增实境

权利要求书

1.一种用于再现扩增实境的方法，其包括：

产生场景的参考图像；

捕捉所述场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含关注点，所述关注点是所述前景物体的属性，其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端，其中所述图像是使用不具有深度信息的摄像机捕捉的；

使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲，因此所述图像及所述参考图像具有相同视图，其中扭曲包括：

从所述参考图像提取特征；

从所捕捉的所述场景的图像提取特征；

基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势；以及

基于所述姿势扭曲所述图像或所述参考图像；

在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；

使用所述检测到的像素检测所述前景物体上的所述关注点，其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行；

在显示器上显示所述图像；

基于所述关注点在所述显示器上于所述图像上方再现扩增对象；以及

在随后捕捉的图像中追踪所述前景物体，其中所述追踪包括：如果场景有变化，那么更新所述参考图像。

2.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括：

产生用于所述前景物体的掩模；

使用所述掩模从所述图像分割所述前景物体；以及

使用从所述图像分割的所述前景物体检测所述像素。

3.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括：

使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像；以及

在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。

4.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像包括：

在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差；以及

比较每一像素的所述差与阈值。

5.根据权利要求1所述的方法，其中在扭曲之后比较所述图像与所述参考图像包括：

在扭曲之后产生所述图像及所述参考图像中的对应像素的比率；以及

比较对应像素的所述比率与阈值。

6.根据权利要求1所述的方法，其进一步包括：

在所述显示器上显示随后捕捉的图像；以及

基于所述随后捕捉的图像中的所述关注点更改所述扩增对象。

7.根据权利要求1所述的方法，其中在所述显示器上再现所述扩增对象包括再现所述扩增对象以看起来如同所述扩增对象在显示于所述显示器上的所述前景物体下方。

8.根据权利要求1所述的方法，其中所述场景包含具有关注点的多个前景物体，所述方法进一步包括：

通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素；以及

使用所述检测到的像素检测所述多个前景物体上的所述关注点。

9.根据权利要求1所述的方法，其进一步包括：

基于所述前景物体上的所述关注点的移动来检测临时手势；以及

执行与所述临时手势相关联的动作。

10.根据权利要求1所述的方法，其进一步包括：

比较所述前景物体上的所述关注点的配置与手势配置库；

从所述前景物体上的所述关注点的所述配置识别手势；以及

执行与所述手势相关联的动作。