[发明专利]通信方法及系统

说明书

本揭露提供一种控制系统，所述控制系统通过追踪眼睛及/或追踪通过个体生成的其他生理信号来与一个体相互联系。所述系统配置为将拍摄的多个眼睛图像分类为多个姿态，所述姿态模仿计算机的类似操纵杆的控制。这些姿态允许用户进行操作，例如带有多个菜单项目的计算机或系统。

技术领域

本揭露涉及一种系统，所述系统允许个体通过跟踪个体的眼睛或其他生理参数的任何一个或组合来操作通信模块或其他实用程序。

背景技术

通过跟踪用户的眼睛来启动用户通信的系统与方法是已知的。

专利文献WO2016142933揭露一种具有选择界面的系统，所述选择界面向用户选择性地呈现一系列通信选项。光传感器检测从用户的眼睛反射的光并且提供相关信号，处理所述信号以确定关于用户头部的相对眼睛取向。基于所述确定的相对眼睛取向，确定及实现选择的通信选项。

发明内容

本揭露涉及一种计算机系统，所述计算机系统通过跟踪眼睛及/或跟踪通过一个体产生的其他生理信号来与一个体相互联系。换句话说，它是一种包括一实用程序的系统，所述实用程序具有与一摄像机相关联的一控制单元，所述控制单元配置为跟踪所述眼睛及/或眼睑的运动，并且可以另外包括配置为跟踪另一生理参数的一实用程序。通过一个实施例，所述系统配置为将所述拍摄的多个眼睛图像分类为多个姿态(gesture)，所述图像可以是瞳孔位置或注视方向、一系列定向的眼球运动、一系列的所述眼睑的眨眼等的一个或多个。这些姿态允许用户进行操作，例如带有多个菜单项目的一计算机或一系统。以此方式，所述眼睛运动可以例如允许用户浏览一菜单、通过眼睛运动在一屏幕上移动一光标、通过在一给定时间周期内将所述眼睛固定一特定位置或经过一系列眨眼来选择项目、通过根据一菜单提示浏览所述注视来浏览菜单项目等。所述系统还可以将其他生理数据进行分类，并且将它们转换为一计算机可读的或配置为操作一个或多个外围装置的多种命令。例如，所述系统可以允许用户通过执行一定义的眼睛姿态或执行一预定的呼吸模式来浏览一菜单、通过移动一身体部位在所述屏幕上移动一光标、通过一呼吸动作或基于多个电生理信号选择项目。通常，本揭露的所述系统允许用户以类似于一操纵杆的方式来操作一计算机。通过本揭露的所述类似操纵杆的方法，唯一的参考点是拍摄所述眼睛的图像的一摄像机，并且不需要检测用户正在看或在一角膜反射处的所述确切地点或位置。同样根据本揭露，通常，在使用之前不需要使用一屏幕的任何校准程序(并且实际上，根本不需要为了使用系统进行通信来使用屏幕)。

通过一些实施例，一菜单没有在一屏幕上呈现给用户，并且用户的一菜单的浏览及项目选择是在没有一屏幕的情况下进行(例如，基于预定的一菜单或先前引入或呈现给用户的一菜单)。

通过一些实施例，仅在一初始引入阶段期间在一屏幕上向用户呈现一菜单，例如在此期间向用户提供一反馈或多个指令。所述阶段可以是以分钟、小时、周与月为单位的任何时间范围。

通过一些实施例，允许用户操作所述计算机的姿态是在一定义的方向上的一般观看(眼睛姿态)，而不是用户正在注视一特定位置的姿态(眼睛凝视)。例如，即使用户没有将视线聚焦在特定的实体或虚拟物件上，一平常的左凝视也可以用作一姿态。

通常，本揭露的所述系统的操作独立于所述照明条件。

通过一些实施例，姿态分类是基于采用机器学习技术。具体地，所述机器学习模型可以是由多个线性变换层与随后的逐元件非线性构成的一神经网络模型。所述分类可以包括一单个用户或跨用户的眼睛表征。通过一些实施例，所述分类估计眼睛运动的所述范围。