[发明专利]一种用于脑梗死言语功能障碍康复的护理监视系统和方法

权利要求书

1.一种用于脑梗死言语功能障碍康复的护理监视系统，包括AR眼镜、可变换主题现实场景、在线评估服务器，其特征在于，

所述在线评估服务器包括用于进行认知训练的第一在线评估服务器、用于进行构音训练的第二在线评估服务器以及用于进行语言训练的第三在线评估服务器；

所述可变换主题现实场景的具体布置与所述第一、第二、第三在线评估服务器的训练内容相适配。

2.根据权利要求1所述的用于脑梗死言语功能障碍康复的护理监视系统，其特征在于，所述AR眼镜包括骨传导耳机、骨传导麦克风、第一摄像头、EEG电极以及成像镜片。

3.根据权利要求2所述的用于脑梗死言语功能障碍康复的护理监视系统，其特征在于，所述可变换主题现实场景包括第一类场景以及第二类场景，在进行所述认知训练时依次展现第一类场景、第二类场景。

4.根据权利要求3所述的用于脑梗死言语功能障碍康复的护理监视系统，其特征在于，所述第一类场景至少包括一个实体要素，所述第二类场景至少包括两个实体要素。

5.根据权利要求4所述的用于脑梗死言语功能障碍康复的护理监视系统，其特征在于，每一个所述实体要素上均设置有第二摄像头。

6.一种应用于如权利要求1-5任意一项所述的用于脑梗死言语功能障碍康复的护理监视系统的方法，其特征在于，包括如下步骤：

S1：为脑梗死患者佩戴AR眼镜，测量并提取患者在静息状态下的脑电信号；

S2：依次向患者展示多个第一类场景，根据脑电信号的强度确定多个第一类场景中的一个第一场景；

S3：根据第一场景设计多个第二类场景；

S4：通过AR眼镜的成像镜片向患者展示依次叠加有多个第一类虚拟图像的多个第二类场景；

S5：根据脑电信号的强度确定多个第一类虚拟图像中的一个第一虚拟图像以及多个第二类场景中的一个第二场景；

S6：基于第一虚拟图像以及第二场景执行包含位置以及颜色的n-back任务范式；

S7：若n-back任务范式成绩达标，则视为完成认知训练，进行下一步，若未达标，则返回步骤S2；

S8：在第二场景中生成与第一虚拟图像相关联的多个第二类虚拟图像；

S9：引导患者根据多个第二类虚拟图像执行相应的嘴部动作，并进行与嘴部动作相应的单音节拟声词发音；

S10：根据第二摄像头拍摄的嘴型以及骨传导麦克风采集的发音判断是否完成构音训练，若是，则进行下一步，若否，则返回步骤S8；

S11：根据构音训练的成绩确定多个第二类虚拟图像中的一个第二虚拟图像；

S12：根据第二虚拟图像生成相应的图文信息，引导患者通过语言进行表达；

S13：根据第二摄像头拍摄的嘴型以及骨传导麦克风采集的发音判断是否完成语言训练。

7.根据权利要求6所述的方法，其特征在于，上述步骤S13具体包括以下步骤：

A1：针对每一个字的发音过程，均通过第二摄像头采集多帧嘴型图像；

A2：将每一个字的发音过程所对应的多帧嘴型图像与该字的标准发音过程所对应的多帧嘴型图像进行逐帧比对；

A3：若发音起始阶段、发音完成阶段、发音结束阶段均至少有一帧嘴型图像的比对结果满足设定阈值，则视为完成语言训练。

8.根据权利要求7所述的方法，其特征在于，在上述步骤A3中，发音起始阶段是指声音刚出现的时段，发音完成阶段是指嘴角仰角最大且上下唇距最大的时段，发音结束阶段是指声音刚消失的时段。

9.根据权利要求8所述的方法，其特征在于，在上述步骤S110、S13中，嘴型与发音的对应在时间戳上不同步，第一时间戳的嘴型与第二时间戳的发音对应，第一时间戳早于第二时间戳。

10.根据权利要求9所述的方法，其特征在于，在上述步骤S13之后，进一步包括如下步骤：

S14：根据语言训练中患者表达不同内容时的完成效果，辅助指导下一次认知训练时第一类场景及第一类虚拟图像的设计。