[发明专利]一种通过眼动追踪来协助瘫痪失语者语言输出的系统

说明书

一种通过眼动追踪来辅助瘫痪失语者语言输出的系统，系统学习分析用户视线注视过的物品、外部环境中语言类和非语言类声音和此刻用户输出的语言文本，并存储到系统的词典模型中。用户再以某种顺序注视一系列物品时，或收集到外部环境声音时，系统会通过显示装置，将物品和外部环境音对应的用户词典模型中的候选文本显示出来，供用户选择并转换成声音通过扬声器发出。系统还提供紧急情况下可使用的预置紧急文本。本发明通过学习用户本身周围的环境物品和环境声音输入，和用户个体本身的语言历史习惯，使用户可以更有效率的将周围环境转换为更贴近自己习惯的语言输出，可以为瘫痪失语者等用户得以和外部进行基本且重要的语言交流。

技术领域

本发明涉及一种图像识别与语言输入技术,属于语言信息技术领域，具体为一种通过眼动追踪来协助瘫痪失语者语言输出的系统。

背景技术

现实中存在病人出现丧失语言输出的情形。例如：嘴部无法说话且手脚瘫痪的病人、发声器官插管且手脚不方便活动的病人。这些病人既不能说话，也不能写字，只能通过他人询问，自身眨眼等原始方法进行低效的沟通。

中国讯飞和美国微软的眼动追踪键盘输入法，其大致原理是：通过让用户佩戴眼镜式屏幕，在屏幕上显示虚拟键盘，然后通过眼动仪追踪用户视线，获取用户视线注视的键盘上的按键来实现虚拟键盘打字功能。

存在的问题：

(1)存在不会使用键盘输入、或使用键盘输入效率低下的用户，例如：不会拼音等键盘输入法的人、视力不佳不易区分紧密排列字母按键的人等等。所以，此类用户，不适合上述虚拟键盘。

(2)上述现有虚拟键盘输入，未能考虑用户与周围环境的交互。例如：身边对话者说出的语言内容、周围环境中可以看到的物品或文字、周围可以听到的非语言类声响等等。

(3)上述现有虚拟键盘输入，未能直接提供用户的个性化交互信息。例如：病人的最紧急的疼痛、呼吸困难、如厕、进食进水等信息；病人身边亲人姓名、常用物品、常去地点等信息；病人的喜怒哀乐等情感信息。

发明内容

本发明要解决部分用户不会键盘输入法、或因视力等原因导致键盘输入法效率低下，从而无法使用眼镜式屏幕和眼动仪追踪来进行语言输入的问题。

本发明要解决使用眼镜式屏幕和眼动仪追踪的虚拟键盘输入法中，无法为用户提供与周围交互环境和用户个性化需求相关的快速语言输入的问题。

一种通过眼动追踪来协助瘫痪失语者语言输出的系统，包括硬件部分、软件部分；

硬件部分包括：外部识别摄像头：用于拍摄外部环境；

头戴式透镜眼镜显示器：半透明设计，用户透过显示器看到周围环境；

视频输出接口：将头戴式透镜眼镜显示器中显示的内容，实时输出到外部视频播放设备；

眼动仪：追踪用户眼镜焦点，完成互动操作；

以及麦克风、扬声器；

软件部分包括：词典联想组句模块：显示备选的词语或语句；

声音文本互转模块：将语言类和非语言类声音转换为文本；

图像识别模块：将图像识别为文本；

词典存储模块：存储用户按时间顺序注视过的和输出的“物品组+文本组”记录；

眼动词语编辑模块：对用户注视的词语显示编辑功能菜单。

进一步地，所述系统包含前台学习模式：用于用户主动的向系统进行外部环境相关语言的输入；

后台学习模式：用于系统在后台识别与学习用户的语音和注视过的物品，用户无需确认操作；