[发明专利]用于创建表面显示并与其交互的系统和方法

说明书

背景技术

诸如智能电话、平板、以及它们相关联的混合物（例如，“平板手机（phablet）”）的便携设备已经变成消费者电子行业的焦点。它们的市场成功很大程度上是由在若干关键技术组件中的进步驱动的，诸如移动处理器SOC（片上系统）、显示技术、以及电池效率。这些发展反过来增加了设备的便携性，以及使实现附加功能性。在核心技术组件中的改进正继续，并且很大程度上是用户输入/输出考虑而不是技术组件需求限制了便携设备的尺寸。因此，现在设备的尺寸和便携性主要依赖于其屏幕、其键盘以及其它输入机构的尺寸。

附图说明

在附图中图解了允许创建显示表面和允许用户与该显示表面交互的系统的示例。示例和附图是图解性的而不是限制性的。

图1是图解用户与具有投影仪、相机和屏幕的电子设备的示例交互的图。

图2是图解用户与具有投影仪和相机的电子设备的示例交互的图。

图3A-3F示出可以被跟踪的手的手势的示例的图形图解。

图4A-4D示出可以被跟踪的手的手势的示例的附加的图形图解。

图5是图解相机投影的示例模型的图。

图6A-6C是示出可以将显示投影到其上的表面和用于监控用户与该投影显示交互的相机的相关联位置的示例的图。

图7A是用于将显示投影在表面上并解释用户与显示的交互的系统的框图。

图7B是图解生成用于在表面上投影的显示并解释用户与显示的交互的处理器组件的示例的框图。

图7C是用于识别投影表面并将图像投影到该表面上的示例过程的流程图。

图8是用于检测在深度图像内的表面的示例技术的流程图。

图9是显示初始表面区域和可以被附加到该初始表面区域的候选毗连区域的图。

图10是用于检测显示表面并初始化表面模型的示例过程的流程图。

图11A-11F示出在检测显示表面并初始化表面模型的过程期间来自各种阶段的示例图像输出。

图12是用于跟踪用户的（一个或多个）手和（一个或多个）手指的示例过程的流程图。

图13是图解相机和投影仪系统的图。

图14是用于将图像从投影仪投影到表面上的示例过程的流程图。

图15是示出根据本公开的实施例用于可以被利用于实现跟踪技术的处理系统的架构示例的框图。

具体实施方式

针对为具有逐渐缩小的形状因素的便携设备提供方便的用户接口的挑战的一个解决方案是将来自设备的显示图形投影到任何可用表面上，并允许用户与所投影的显示交互就好像这是正在运行的触摸屏一样。采用这种途径，设备的形状因素不约束显示，并且也没有提供集成键盘的需要。通过将输入/输出机构从设备中分离，显示可以任意地大，并且用户交互远远更多样化，即使当设备继续被设计成更小时候。本公开描述了用于在便携的装备有投影仪的设备上使实现这样的用户体验的系统和方法。

现在将描述技术的各种方面和示例。以下描述提供明确的细节用于彻底理解并使实现这些示例的描述。然而本领域技术人员将理解的是，可以在没有这些细节中的许多的情况下实践技术。另外，可能没有详细示出或描述一些公知结构或功能，以便避免不必要地遮蔽相关描述。

下面介绍的描述中使用的术语意图以其最广泛的合理方式被解释，即使结合技术的某些明确示例的详细描述使用它。在下面可能甚至强调某些用语；然而，意图以任何约束方式被解释的任何术语将公开地并明确地被限定为如在该具体实施方式章节中这样的。

用户接口系统可以具有两个基本组件。第一组件向用户显示信息，例如诸如平板显示的显示屏，或被投影到垂直平坦的墙上的图像。显示组件向用户示出用户可以与其交互的图形的（或其它）元素的集合。

用户接口系统的第二组件解释与由显示组件呈现给用户的信息相关的用户移动。例如，平板可以在平板显示屏上向用户显示信息，并然后通过检测用户的手指触摸与显示信息相关的屏幕的哪里来解释用户移动。一般地，用户动作对显示信息有直接影响，并因此向用户提供指示由正在运行用户正与其交互的电子设备上的用户接口系统的应用如何解释用户动作的用户反馈。本公开描述用户接口系统，其中显示组件使用将图像投影到任意表面上的投影仪，并且当用户与被投影到表面上的图形交互时用户交互组件识别、跟踪并解释用户移动。