[发明专利]视线跟踪人机交互方法及装置

说明书

技术领域

本发明涉及人机交互方法及装置，尤其涉及视线跟踪人机交互方法及装置，属于人机交互领域。

背景技术

键盘、鼠标、游戏杆等设备提供了机器与操作者之间的通讯接口，实现了人机交互。近年来，随着视线跟踪技术的发展，基于视线跟踪的鼠标模拟以及键盘模拟已在人机交互领域得以研究与应用，诸如辅助残疾人士完成人机通讯，辅助航空驾驶员操作计算机等。在个人电脑上，视线跟踪的结果可以控制鼠标指针的运动，从而可以替代鼠标实现人机交互的功能。在一些工业控制、航空应用场景或紧急状况中，用户的手可能都被用于操作除计算机外的其它控制机构，这时只有视线可以被用来操作计算机。

现有技术使用鼠标设备辅助实现跟踪的人机交互过程。当需要进行目标选取时，用户的视线落在需要选择的目标上后，再按下鼠标键完成选择。在移动一个目标时，用户的视线落在需要选择的目标上后，按下鼠标键选中该目标，然后用户移动视线至一个新的位置，松开鼠标按钮后目标即停留在新的位置。在实现本发明过程中，发明人发现该技术中至少存在如下问题：

(1)采用鼠标设备作为辅助输入，在交互过程中使用手的运动来控制鼠标按下与松开的动作。这样对于航空驾驶等特殊场合无法利用手进行操作的情况下就无法应用，一些手部无法动作的残疾人也不能使用该系统。

(2)在把该系统用于公共设施时，由于需要接触鼠标设备，从而增加了人群中传染疾病的可能性。

目前还存在一种根据视线停留时间或眨眼选择控制选项的方法。操作者在某处注视点停留达一定时间后，当前交互工作模式转入精细调整模式。在该模式下，程序先记下当前光标点位置，然后屏幕上出现一个弹出菜单，包含“单击、双击、左键、右键”等选项，然后视线控制光标移动到菜单中的某一项上，并停留一定时间或眨眼来选择该项，从而实现“单击、双击”等动作。在实现本发明过程中，发明人发现该方法中至少存在如下问题：

注视停留时间很难选择较合适的值，若选择较小的数值，则容易造成误操作，因为当视线稍做停顿，就会出现弹出菜单，而操作者并不希望做任何动作，这种情况在一些特定操作中(如阅读文章、观看视频等)尤其明显。如果选择较大的数值，则会延长操作指令的执行时间，大大降低交互的效率。另外，弹出菜单在很多场合也会影响操作者对屏幕内容的观察。总之，这样的交互协议会导致交互过程不够人性化，效率也较低，容易产生误操作。

发明内容

本发明实施例的目的在于提供一种非接触且交互协议简单的视线跟踪人机交互方法及装置。

为实现上述目的，本发明视线跟踪人机交互方法的实施例中，包括：采集视线跟踪信息，并根据所述视线跟踪信息获取视线焦点位置；采集面部图像信息，并根据所述面部图像信息识别出面部动作；根据所述视线焦点位置输出与所述面部动作对应的控制指令。

为实现上述目的，本发明实现跟踪人机交互装置的实施例中，包括：视线跟踪处理单元，用于进行视线跟踪操作，所述视线跟踪操作包括采集视线跟踪信息并根据所述视线跟踪信息获取视线焦点位置；面部动作识别单元，用于采集面部图像信息并根据所述面部图像信息识别出面部动作；以及控制指令输出单元，与所述视线跟踪处理单元及所述面部动作识别单元分别连接，用于根据所述视线焦点位置输出与所述面部动作对应的控制指令。

本发明实现跟踪人机交互方法的实施例通过采集视线跟踪信息获取视线焦点位置，采集面部图像信息识别出面部动作，最后根据所述视线焦点位置输出与所述面部动作对应的控制指令；在整个过程中，由于操作者的手无需接触键盘或鼠标或操作杆等外设，这样使得航空驾驶等特殊场合无法利用手进行操作的情况下得以顺利地应用，另还能够方便一些手部无法动作的残疾人；采用面部动作及视线焦点位置同时作为控制指令输出的依据条件，使得交互协议简单、控制指令的输出更为准确。

本发明实现跟踪人机交互装置的实施例通过在原有视线跟踪处理单元的基础上增设面部动作识别单元，由控制指令输出单元根据所述视线焦点位置输出与所述面部动作对应的控制指令，实现了非接触的控制方式，提高了用户使用的舒适度，避免了公共设备使用过程中由于操作者的手接触键盘或鼠标或操作杆等外设而造成的疾病的传播。

附图说明

图1为本发明视线跟踪人机交互方法的实施例一的流程图；

图2为面部动作A示意图；

图3为面部动作B示意图；

图4为面部动作C示意图；

图5为面部动作D示意图；

图6为本发明视线跟踪人机交互方法的实施例二的流程图；

图7为本发明视线跟踪人机交互方法的实施例三的流程图；