[发明专利]基于融合手势识别的失语症患者辅助康复训练系统及方法

说明书

本发明提供一种基于融合手势识别的失语症患者辅助康复训练系统，包括：嵌入式计算平台：包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元；场景摄像头；用户监控摄像头；显示屏：用于显示前端交互界面并与使用者进行交互；语音模块：用于合成并播放训练指令语音；外部电源：用于整套训练系统的供电；所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接。本发明还提供一种基于融合手势识别的失语症患者辅助康复训练方法，该训练系统及方法具有良好的贴近患者现实生活的能力和部署的方便性，极大地满足了日益增长的失语症康复训练需求，提高了失语症患者人群的康复训练效果。

技术领域

本发明涉及计算机视觉与康复医学技术领域，更具体地说，涉及一种基于融合手势识别的失语症患者辅助康复训练系统及方法。

背景技术

近年来，随着计算机科学技术的发展，在新的智能技术方法深度学习的巨大推动下，人工智能的各项技术，譬如语音识别技术、图像识别技术、数据挖掘技术等都有了实质性的发展并且成功地应用在多项产品中。深度学习是目前计算机视觉领域研究的重点和热点，也是解决复杂环境问题中常用的方法之一。计算机视觉作为人类科学技术发展历史上的一个里程碑，对智能技术的发展起到举足轻重的作用，毋庸置疑地受到了学术界以及工业界的广泛关注。在现有的深度学习方法中，神经网络在目标检测方面取得了很好的成果。

目前，在市面上出现的计算机辅助失语症患者康复训练系统，主要还是将传统训练项目的内容制作成训练题库，通过医生辅助患者答题并评分的形式完成康复训练，训练题目枯燥单一，使得许多患者没有进行康复训练的兴趣；此外，市面上并没有家用辅助训练系统出现，训练过程需要在专门的康复治疗科室中进行，并且由医师主导，对众多有康复训练需求的患者相当不便。

当前利用计算机视觉技术帮助失语症患者进行康复训练的智能系统尚未成熟，主要原因其一是目前应用在在失语症康复医学上的计算机视觉技术甚少，尚未有人探索过两者之间结合的应用；其二是受限于计算能力的限制，基于深度学习的物体检测技术在实际生活中落地应用比较困难，比较依赖于云端计算支持；目前已有部分微型目标检测网络取得跟常用目标检测网络相近的准确度与精确度，但是所需的计算资源已大幅减小，这使得在低功耗且价格便宜的嵌入式计算设备中部署深度神经网络成为可能。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于融合手势识别的失语症患者辅助康复训练系统及方法，该训练系统及方法具有良好的贴近患者现实生活的能力和部署的方便性，极大地满足了日益增长的失语症康复训练需求，提高了失语症患者人群的康复训练效果。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于融合手势识别的失语症患者辅助康复训练系统，其特征在于：包括：

嵌入式计算平台：用于部署本系统的软件，并包括物体检测和手势识别单元、康复训练与用户交互单元和训练结果评估单元；

场景摄像头：用于采集场景RGB图像输入到嵌入式计算平台；

用户监控摄像头：用于采集用户手势RGB图像及输入到嵌入式计算平台；

显示屏：用于显示前端交互界面并与使用者进行交互；

语音模块：用于合成并播放训练指令语音；

外部电源：用于整套训练系统的供电；

所述嵌入式计算平台分别与场景摄像头、用户监控摄像头、语音模块、显示器和外部电源连接；

所述物体检测和手势识别单元为：使用整理的数据集对Yolov2卷积神经网络进行训练，得到训练好的Yolov2卷积神经网络，通过训练好的Yolov2卷积神经网络实现康复训练场景中的目标检测以供训练内容提取，以及实现患者手势的识别；