[发明专利]一种通过眼动追踪来协助瘫痪失语者语言输出的系统

权利要求书

1.一种通过眼动追踪来协助瘫痪失语者语言输出的系统，其特征在于，包括硬件部分、软件部分；

硬件部分包括：外部识别摄像头：用于拍摄外部环境；

头戴式透镜眼镜显示器：半透明设计，用户透过显示器看到周围环境；

视频输出接口：将头戴式透镜眼镜显示器中显示的内容，实时输出到外部视频播放设备；

眼动仪：追踪用户眼镜焦点，完成互动操作；

以及麦克风、扬声器；

软件部分包括：词典联想组句模块：显示备选的词语或语句；

声音文本互转模块：将语言类和非语言类声音转换为文本；

图像识别模块：将图像识别为文本；

词典存储模块：存储用户按时间顺序注视过的和输出的“物品组+文本组”记录；

眼动词语编辑模块：对用户注视的词语显示编辑功能菜单。

2.根据权利要求1所述的一种通过眼动追踪来协助瘫痪失语者语言输出的系统，其特征在于，所述系统包含前台学习模式：用于用户主动的向系统进行外部环境相关语言的输入；

后台学习模式：用于系统在后台识别与学习用户的语音和注视过的物品，用户无需确认操作；

词典训练分析模式：用于系统对词典存储模块中的图像和文本进行模型训练，最终获得的模型为：当向模型输入某图像或词语时，模型输出所对应的最相关的文本；

正常使用模式：系统通过用户视线停留的物品，自动生成可选的文本，用户选择确认后，文本通过声音文本互转模块生成语音，并通过扬声器播放；

紧急使用模式：系统中设有特殊预置文本词典，供用户在紧急情况下使用。

3.根据权利要求2所述的一种通过眼动追踪来协助瘫痪失语者语言输出的系统，其特征在于，所述前台学习模式的具体流程如下：

(1)外部识别摄像头开启，将视频信号传递给图像识别模块，图像识别模块识别视场中的物品；

(2)眼动仪跟踪用户视线，确定用户视线停留过的物品；

(3)用户说话，进行语音输出；

(4)系统开始计时；

(5)麦克风收集用户上述语音，并将语音数据传递给声音文本互转模块；

(6)声音文本互转模块将上述语音转换成备选文本选项；

(7)头戴式透镜眼镜显示器高亮显示用户视线停留的物品，图像识别模块将此物品转换为备选文本选项并显示在物品旁边；

(8)眼动仪记录用户眼动切换注视物品的时刻；

(9)用户语音输出结束；

(10)系统停止计时；

(11)头戴式透镜眼镜显示器显示上述备选文本选项、和眼动仪确定的用户视线停留过的物品截图，文本选项按眼动时刻进行文本分隔，并按用户语音输出和视线停留的时刻顺序进行排列；在计时时间段内，第n时刻的文本和第n时刻眼动仪确定的用户视线停留的物品一同高亮显示，文本分割为词语，并标注词性；

(12)用户通过眼动词语编辑模块编辑上述分隔显示的词语；

(13)头戴式透镜眼镜显示器提示用户进行确认；

(14)用户通过眼动仪注视提示来进行确认；

(15)用户确认后，上述文本选项和一组物品截图，按照上述时刻顺序，作为一条“物品组+文本组”记录，存储到词典存储模块；

(16)回到并重复步骤(2)-(15)，继续向系统的词典存储模块输入更多的“物品组+文本组”记录；

(17)结束前台学习模式。