[发明专利]虚拟触摸交互方法和虚拟触摸交互设备

说明书

技术领域

本发明涉及计算机和数字图像处理领域的用户交互技术，更具体地涉及一种用于投影屏幕的虚拟触摸交互方法和虚拟处理交互设备。

背景技术

目前，触摸控制技术已经被广泛地应用于诸如手持设备和个人电脑之类的各种设备上以进行人机交互。这种技术使用带有触摸传感器的触摸屏，用户可以通过触摸该触摸屏来与设备交互，从而控制该设备执行各种操作。触摸控制技术可以使用户方便有效地操作设备，从而获得良好的用户体验。

近年来，又提出了虚拟触摸交互技术，其目的在于对不具备触摸传感器的屏幕执行与传统触摸交互类似的交互（即，虚拟触摸交互）。例如，在将虚拟触摸交互技术应用于普通的投影屏幕的情况下，可以根据用户的手对投影屏幕的触摸操作来执行各种交互操作。相对于传统的触摸控制技术，虚拟触摸交互技术不需要设置触摸屏，因此应用起来更加灵活。然而，在虚拟触摸交互技术中，如何向用户提供更自然更优秀的交互体验始终是一个巨大的挑战。在现有的虚拟触摸交互技术中，无法在交互过程中针对用户的动作向用户提供清晰的反馈。具体地，在进行虚拟触摸交互时，用户通常想知道：（1）他的触摸操作是否被检测到；（2）他触摸的位置在哪里。然而，现有的虚拟触摸技术并不能针对这些内容向用户提供清晰的反馈。

另一方面，在使用传统的触摸设备来实现人机交互接口的方面，已经有很多成功的例子。例如苹果公司设计的触摸设备使用了以下人机交互接口原则：（1）反馈，即响应用户的动作，并且使用户确信他们的请求正在被处理；（2）直接操作，即用户可以通过执行触摸动作而直接操作屏幕中的对象；（3）隐喻，即当应用中的对象和操作是由现实世界映射过来时，用户能快速地掌握如何使用这个应用；（4）整体之美，即应用的外观与功能完美地结合；（5）一致性，即允许用户将关于一个应用的知识和技能延续到其他应用上，然而，目前的虚拟触摸交互技术不能很好地遵循上述原则。

此外，在现有的虚拟触摸交互系统中，为了能够检测出用户的触摸动作，往往需要向投影屏幕上投影尺寸较大的易于识别的图案，这种图案被叠加在显示于投影屏幕上的画面上，不仅画面本身变得难看，画面上的内容也可能会被遮挡住，这导致较差的用户体验。

因此，需要一种虚拟触摸交互方法和虚拟触摸交互设备，其能够针对用户对例如投影屏幕的触摸操作提供清晰的反馈，并且不会对投影屏幕上显示的图像造成干扰，从而提供改善的用户体验。

发明内容

鉴于现有技术中的上述问题，提出了本发明。本发明的一个目的是提供一种虚拟触摸交互方法和虚拟触摸交互设备，其能够针对用户在例如投影屏幕上的触摸操作而向用户提供清晰的反馈。本发明的另一目的是提供一种虚拟触摸交互方法和虚拟触摸交互设备，其能够以较高的精度检测用户的触摸操作，而不会对投影屏幕上显示的图像造成干扰。

根据本发明的一个方面，提供了一种用于投影屏幕的虚拟触摸交互方法，包括：跟踪在投影屏幕前的投影区域中移动的用户肢体的位置；基于用户肢体的位置，确定用户肢体是否进入交互区域；响应于用户肢体进入交互区域，将光标投影到用户肢体上；以及根据用户肢体对于投影屏幕的动作改变所述光标的形态。

根据本发明的上述方面，可以通过用户肢体在建立于投影区域中的空间坐标系中的坐标来表示用户肢体的位置。

根据本发明的上述方面，确定用户肢体是否进入交互区域的步骤可以包括：基于用户肢体的坐标，利用投影区域的深度图确定用户肢体的深度值；通过将该深度值与定义交互区域的深度阈值进行比较，确定用户肢体是否进入交互区域。

根据本发明的上述方面，所述光标的尺寸可以不大于用户肢体的尺寸。

根据本发明的上述方面，当用户肢体在投影区域中移动时，可以相应地改变所述光标的投影位置，使得所述光标始终覆盖在用户肢体上。

根据本发明的上述方面，根据用户肢体对于投影屏幕的动作改变所述光标的形态的步骤可以包括：检测用户肢体相对于投影屏幕的触摸状态，所述触摸状态包括以下至少一个：触摸就绪状态，用户肢体已经进入交互区域，但是尚未触摸到投影屏幕；触摸按下状态，用户肢体已经触摸到投影屏幕；触摸移动状态，用户肢体已经触摸到投影屏幕并且在投影屏幕上移动；以及触摸抬起状态，用户肢体已经离开投影屏幕；以及根据所检测的触摸状态来改变所述光标的形态。

根据本发明的上述方面，改变所述光标的形态可以包括改变所述光标的图案、颜色、大小、形状和透明度中的至少一种。