[发明专利]用于设备交互的空中手指指向检测

说明书

本文描述的技术通常涉及空手、徒手技术以将用户输入提供至设备，例如在用户界面上移动光标。捕获图像帧，并处理每个帧以确定指尖位置。该处理包括图像分割阶段，其提供图像的二进制表示；不交并树状图构造阶段，其对图像的二进制表示进行操作以构造一组树状图，以及指尖位置估计阶段，其从一组树状图中选择图形，并使用根节点估计指尖位置。还描述了根据所述一组树状图来确定手的定向。

相关申请的交叉引用

本申请要求2016年11月1日提交的题为“FingerPoint:towards non-intrusivemid-air interaction for smart glass”的第62/496,854号美国临时申请的优先权，该申请的全部内容通过引用合并于此。

技术领域

本公开通常涉及感测用户与设备的交互，包括经由指向手指的空中检测来感测用户与设备的交互。

背景技术

近来，许多可穿戴计算设备(例如智能手表和智能眼镜)已出现在高科技商业产品中。这些设备的尺寸持续缩小，使得至少在很大程度上最终导致硬件界面元件(例如按钮、触摸板和触摸屏)将被逐步淘汰。

例如，智能眼镜是方便的，因为除了其他特征之外，智能眼镜还可以显示包括增强信息的虚拟内容。然而，与智能眼镜的交互相对受阻并且存在问题。举例来说，显示器上的虚拟内容是不可触摸的，因此直接操作可能是疲劳且容易出错的任务。其次，与智能手机相比，现代智能眼镜还存在其他挑战性的问题，例如显示尺寸缩小，输入界面小，计算能力有限以及电池寿命短。

智能眼镜的可用输入方法限制了其交互的有效性。一种这样的设备要求用户通过单独的有形手持设备进行交互。另一种设备依赖于语音命令作为输入源，这通常是不适当的或不方便的，例如在公共区域中当用户隐私成为问题时，或者发出语音命令因噪声太多而在社交上不合适或者很困难时。另一种智能眼镜设备包括迷你轨迹球，其提供小区域用于轻击和点击，然而，迷你轨迹球的小区域上的当前输入选项可以触发不需要的操作，例如无意的点击，并且在想要连续的单次轻击的情况下却无意中感测到两次轻击。

用于设备输入感测的另一解决方案是手势检测，其通过让用户穿戴专用的仪器手套和/或其他传感器来操作。然而，该解决方案使得用户需要握住或穿戴额外的装置/标记或身体附件。利用深度相机进行的手势检测是设备输入感测的另一种选择，然而深度相机通常在商业产品中不可用，这通常是因为其额外的成本使得诸如智能眼镜之类的设备对消费者以及制造商来说吸引力降低。

发明内容

提供本发明内容是为了以简化的形式介绍一些代表性概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简要地，本文描述的技术的一个或多个方面是针对将图像数据处理为指尖位置。各方面包括：处理与包括具有指向手指的手的捕获图像相对应的相机图像数据。所述处理包括：对所述相机图像数据执行图像分割，以获得分割图像数据，所述分割图像数据将具有指向手指的手的像素与其他像素区分开；以及使用滑动窗口扫描所述分割图像数据，所述扫描包括使用当前位置处的滑动窗口来确定当前位置处的滑动窗口内的像素的第一值是否满足具有指向手指的手的选择标准。响应于确定满足选择标准，各方面包括：将表示该像素的顶点节点添加到图集，并执行对所述图集中的与所述顶点节点相关的一个或多个其他节点的搜索。响应于确定不满足选择标准并且直到使用所述滑动窗口中的每个位置，其他方面包括使用另一位置处的滑动窗口来确定另一位置处的滑动窗口内的下一像素的下一值是否满足所述选择标准。各方面包括估计具有指向手指的手的指尖的位置，所述估计包括基于所述图集中的与其他图形相关的节点的数量从所述图集中识别选中图形，以及根据选中图形的根节点来获取指尖的位置。

从以下结合附图的详细描述，其他优点将变得明显。

附图说明