[发明专利]一种基于眼动和手势的UI界面设计及人机交互方法

说明书

本发明公开一种基于眼动和手势的UI界面设计及人机交互方法。所述方法包括以下步骤：在对UI界面的功能设计及开发的基础上，为UI界面上适合手势操控的功能区域定制手势指令集；利用显示器上配备的摄像头采集人体图像，进行视线估计和手势识别。本发明基于眼动实现人体视线焦点的估计以及UI界面意图操控区域的识别，进而基于手势识别结果对意图操控的功能区域进行交互，不但增加了人机交互的便捷性，而且可以根据功能区域不同定制自然交互手势，提高人机交互效率。本发明采用区域控制方式，无需通过视线焦点来直接捕捉待操作的控件或图标，对头部自然晃动导致的视线焦点的漂移具备更好的鲁棒性。

技术领域

本发明涉及人机交互技术领域，更具体地说，涉及一种结合利用计算机视觉下的视线追踪技术、手势识别技术设计出的一种基于眼动和手势的UI界面设计及人机交互方法。

背景技术

在人工智能迅速发展的今天，人工智能与人机交互的结合已经成为必然的趋势，这将会给未来人机交互带来巨大的前景。同时将手势和头部姿态结合起来，能更好地探讨新的交互通道存在的应用价值。实现非接触的基于“眼动追踪+手部姿态”的混合控制方法，对于多通道人机交互技术的探索与研究具有重大的意义。

在现有技术中，倾向于直接利用眼动的视线焦点来捕捉待操作的控件或图标，进而直接把手势指令映射到控件或图标的对应操作。然而，在实际交互过程中(特别是人在移动的车、船上时)，由于人头部的自然晃动以及轻微头部晃动引起的视线焦点在屏幕上的大幅度漂移，导致很难通过视线来稳定地捕捉某个待操作控件或图标。与现有的发明不同，本发明采用区域控制方式，通过一种融合眼动和手势控制的UI交互方式，在UI界面设计过程中就融入了区域控制的理念，使得用户在基于眼动和手势进行交互时不需要刻板生硬地通过视线焦点去捕捉待操作的控件或图标，操控更加自然可靠。本发明不单单是公布一种UI交互方式，也是公布一种融合自然交互方式的UI界面设计和开发方法。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提出了一种基于眼动和手势的UI界面设计及人机交互方法，基于眼动追踪的交互方式，配合手势控制，可以为操作者提供更多的控制选择，减少由于相同设备的长时间单通道控制而导致的工作负载，精神压力和疲劳；从而提高交互效率，也保证了交互过的自然性和可靠性。

2.技术方案

为解决上述问题，本发明采用如下的技术方案：

一种基于眼动和手势的UI界面设计及人机交互方法，包括以下步骤：

S1、在对UI界面的功能设计及开发的基础上，为UI界面上适合手势操控的功能区域定制手势指令集；

S2、利用显示器上配备的摄像头采集人体图像，进行视线估计和手势识别，得到用户在UI界面上的视线焦点以及识别出的手势类别；

S3、把视线焦点和手势类别发送给UI，UI根据视线焦点确定用户在UI 界面上的意图操控区域；

S4、UI界面比对意图操控的功能区域的手势指令集，对收到的手势指令进行有效性判断；

S5、根据意图操控的功能区域定制的手势指令集，把有效手势指令转化为UI可执行的消息或信号，传递给UI界面；

S6、UI界面响应执行收到的消息或信号，最终完成手势指令的执行，完成基于眼动和手势的UI界面人机交互。

作为本发明的一种优选方案，所述步骤1中，在UI界面的设计和开发过程中，根据各个功能区域所用控件的不同，可以针对性地定制手势指令集，并实现手势指令到UI可执行指令的转换映射，为UI预留除了传统的鼠标操作之外的自然交互接口。