[发明专利]基于前景物体再现扩增实境

摘要

移动装置检测所捕捉图像(例如，不具深度信息的一系列视频帧)中的可移动前景物体。所述物体可为用户的手指中的一或多者。所述物体可通过以下操作检测到：使场景的包含所述物体的所捕捉图像及所述场景的不具所述物体的参考图像中的一者扭曲，因此所述图像具有相同视图，以及在扭曲之后比较所述所捕捉图像与所述参考图像。可使用掩模从所述所捕捉图像分割所述物体。在所述物体的提取图像中检测像素，并且使用所述像素检测所述前景物体上的关注点。可接着在后续图像中追踪所述物体。可再现扩增并且与所述扩增互动，或可检测临时手势且相应地执行所要动作。

主权项

1.一种用于再现扩增实境的方法，其包括：产生场景的参考图像；捕捉所述场景的图像，所述场景具有未附加到所述场景的前景物体，所述前景物体包含关注点，所述关注点是所述前景物体的属性，其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端，其中所述图像是使用不具有深度信息的摄像机捕捉的；使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲，因此所述图像及所述参考图像具有相同视图，其中扭曲包括：从所述参考图像提取特征；从所捕捉的所述场景的图像提取特征；基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势；以及基于所述姿势扭曲所述图像或所述参考图像；在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素；使用所述检测到的像素检测所述前景物体上的所述关注点，其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行；在显示器上显示所述图像；基于所述关注点在所述显示器上于所述图像上方再现扩增对象；以及在随后捕捉的图像中追踪所述前景物体，其中所述追踪包括：如果场景有变化，那么更新所述参考图像。