[发明专利]基于听觉认知神经信号的自主意愿表达方法

说明书

技术领域

本发明属于残疾人辅助装置和人机交互领域。本发明通过提取使用者的听觉认知神经信号，转化为语音输出，能够有效地帮助残疾人士与外界进行沟通。此外，还可用于基于神经信号的人机交互电子娱乐系统的开发。

背景技术

在现代社会中，许多疾病都将导致患者语言运动功能退化，直至丧失意愿表达以及与外界沟通交流的能力，如肌萎性侧索硬化症(又称神经元渐冻症，ALS)、中风、脑瘫等，严重影响了此类患者的生活质量。借助神经科学和计算机技术的高速发展，越来越多的研究成果被应用于帮助此类残疾患者重建意愿表达以及与外界沟通交流的渠道，从而提高残疾人士的生活质量。其中，基于神经信号的人机交互系统的发展尤为迅速。本发明提出的基于听觉认知神经信号的自主意愿表达系统能够有效地帮助残疾人士与外界进行沟通。此系统还可以应用于电子娱乐领域。基于神经信号的人机交互电子娱乐是一种极富体验感和趣味性的新兴娱乐方式。利用神经信号操纵游戏，不仅新奇有趣，还有潜在的智力促进作用。

传统意义上，丧失语言运动功能的残疾人士表达意愿的方式非常有限，比如使用稍能活动的残肢触碰物体，对旁人的简单问题做出眨眼动作表示“是”或“否”以及进行眼球运动等。这些方式所表达的意愿非常模糊，并且对于大部分严重残疾人士，包括眨眼在内的任何细微运动都无法进行，连接外界的渠道完全被切断，必须借助其他的辅助系统才能重建与外界交流的通路。

基于神经信号的人机交互技术近年来被广泛地应用于残疾人辅助装置及电子娱乐领域中。该技术结合了神经科学、微电子和计算机信息处理等方面的最新成果，直接提取大脑的神经活动，实时翻译成控制命令，来控制假肢、计算机鼠标、键盘、音响等。基于神经信号的人机交互系统通常包含三个组成部分：1信号的采集和记录。神经信号的采集方式有多种：脑电图(EEG)，大脑皮层电位图(ECoG)，脑磁图(MEG)等，最常用的是脑电图；2信号处理过程。从神经信号中提取使用者的意识，并且通过转换算法将输入的使用者的神经信号转换为控制外部设备的输出指令，这是整个系统的核心步骤。3控制外部设备。根据使用者的意识来驱动外部设备，从而替代用户丧失的运动和交流能力。此外，适当的结果反馈也常被引入此类系统，以加快使用者的熟练程度，达到更好的使用效果。

目前，运用比较广泛的基于神经信号的人机交互技术是利用视觉刺激范式来实现的。使用者注视屏幕上的视觉目标，从而诱发出相应的神经信号，再通过对视觉神经信号的分析，提取使用者意愿。但是，对于大量的严重残疾人士，视觉功能严重退化，视觉刺激范式的作用非常有限。因此，需要寻求视觉以外其他的感觉刺激来诱发神经信号，从而帮助那些失去视觉的严重残疾人士自主表达意愿。一般情况下，视觉受限的残疾人士，其听觉功能往往还很健全，所以，基于听觉刺激范式诱发神经信号的人机交互系统极具意义。

晚期正成分电位(Late Positive Component，LPC)是一种脑电电位，潜伏期为刺激起始后300ms至800ms，包含多个子成分。LPC源于大脑高级皮层活动，与人们的认知、注意、智能等加工过程有关，反映大脑对于外界刺激的主动响应。研究证明LPC不受刺激属性和概率的影响，所以较经典的神经信号P300有优势。利用LPC进行自主意愿表达，是对LPC电位的一种全新应用。

中国专利(01129935.5)“可视音乐脑电生物反馈法”，发布了一种基于脑电的生物反馈法，其特征在于按标准的脑电图采集方式采集的脑电图进入计算机后，脑波经特征分析变为特征时间序列数据，直接产生相应的脑音乐，或控制和调整由计算机生成的图形图像及音乐达到反馈训练。该系统采用了脑电神经信号来作为控制反馈的依据，但其采用的是自发脑电，并不能表达使用者的主动意愿，而仅仅是使用者当前状态的一种反应，有一定的局限性。

中国专利(00815134.2)“基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统”，发布了一种基于视觉诱发脑电信号的控制方法。该系统能够生成以不同频率变化的、能被人体感官感受的一或多个视觉刺激信号，通过检测受激人体的脑电信号并进行分析，从中提取与某一刺激信号频率相对应的特征物理量，由此控制相对应的装置执行一即定的操作。该系统采用了诱发的脑电神经信号，能够表达使用者的自主意愿，但是，其采用的是视觉诱发脑电，长时间的视觉刺激会引起使用者的视觉疲劳，产生不舒适感，有一定的局限性。