[发明专利]用于设备交互的空中手指指向检测

摘要

本文描述的技术通常涉及空手、徒手技术以将用户输入提供至设备，例如在用户界面上移动光标。捕获图像帧，并处理每个帧以确定指尖位置。该处理包括图像分割阶段，其提供图像的二进制表示；不交并树状图构造阶段，其对图像的二进制表示进行操作以构造一组树状图，以及指尖位置估计阶段，其从一组树状图中选择图形，并使用根节点估计指尖位置。还描述了根据所述一组树状图来确定手的定向。

主权项

1.一种方法，包括：通过包括处理器的设备，处理与包括具有指向手指的手的捕获图像相对应的相机图像数据，所述处理包括：对所述相机图像数据执行图像分割，以获得分割图像数据，所述分割图像数据将具有指向手指的手的像素与其他像素区分开；使用滑动窗口扫描所述分割图像数据，包括使用当前位置处的滑动窗口来确定所述当前位置处的滑动窗口内的像素的第一值是否满足具有所述指向手指的手的选择标准；响应于确定满足所述选择标准，将表示所述像素的顶点节点添加到图集，并执行对所述图集中的与所述顶点节点相关的一个或多个其他节点的搜索；响应于确定不满足所述选择标准并且直到使用所述滑动窗口中的每个位置，使用另一位置处的滑动窗口来确定所述另一位置处的滑动窗口内的下一像素的下一值是否满足所述选择标准；以及估计具有所述指向手指的手的指尖的位置，包括基于所述图集中的与其他图形相关的节点的数量从所述图集中识别选中图形以及根据所述选中图形的根节点来获取所述指尖的位置。