[发明专利]一种基于眼电和机器视觉的轮椅机械臂集成系统及其控制方法

说明书

本发明公开了一种基于眼电和机器视觉的轮椅机械臂集成系统，包括EOG采集放大器、图形用户界面、多眼动EOG信号检测识别单元、目标物体探测单元、综合识别单元、执行单元；本发明还公开了一种基于眼电和机器视觉的轮椅机械臂集成控制方法；本发明公开的基于两种眼部动作的人机接口指令输出方式，在保证消除无意识眼动带来的干扰的前提下，将生成一个指令的平均反应时间缩短至大约2秒，用户通过眼动可以输出14个不同的指令，准确率平均可达97.3％，而现有的基于眼电的轮椅控制技术准确率最高80％，相比于现有的基于EOG的人机接口在性能上有很大的提升；将眼电所反映的人脑智能与机器智能相互融合，既保证了控制的准确性，也减轻了用户的操作负荷。

技术领域

本发明属于人机交互技术领域，具体涉及一种基于眼电和机器视觉的轮椅机械臂集成系统还涉及一种基于眼电和机器视觉的轮椅机械臂集成控制方法。

背景技术

对于手脚不便的瘫痪病人(比如脊髓损伤患者)来说，想要完成一些诸如移动和抓取这类需要肢体参与的日常任务，都必须借助外界的帮助。通常，照顾这些患者的护士或者家属会协助他们完成一些必要的锻炼，满足他们的日常所需。但是，这类照顾工作会占用护理人员大量的时间与精力，很多家属甚至辞去工作待在家中或者病房，就是为了全天候照顾病人。为了减轻护理人员的负担，提高患者的生活自理能力，医护人员尝试着用各种各样的康复器械来辅助患者完成一些基本的日常活动，比如使用轮椅来帮助患者行走，使用机械臂来帮助患者完成抓取动作。

对于很多瘫痪病人来说，尽管丧失了肢体运动能力，但很多人仍然能够保留一定程度的眼部运动能力。这是因为控制眼球及眼睑运动的神经全部位于大脑内部，如动眼神经、滑车神经和外展神经等与眼动相关的神经都属于脑神经，它们并不经过颈椎和脊柱，受到脑颅较好的保护不容易受伤。同时，完成眼部动作往往比完成肢体动作更轻松和方便，相比于脑电信号也更容易被检测，因此眼动(Electrooculogram,EOG)信号很适合用于作为辅助残疾人的人机接口的输入信号，用来控制轮椅、机械臂等助残设备。

由于EOG信号具有高信噪比、输出稳定、个体差异小等优点，因此基于EOG的人机接口往往性能稳定、具有良好的时间响应性能并且操作简单，经过短时间训练就可以掌握使用方法。虽然不同的眼部动作之间的识别准确率可能有所差异，但相比于EEG信号，其整体的识别准确率和稳定性都要更好。同时，对于拥有正常眼动能力的受试者来说，完成一次常见的眼部动作(如向上看、向下看、向左看、向右看、左上斜视、左下斜视、右上斜视、右下斜视、抬眉、皱眉、眨眼以及单眨眼等)是很轻松的，动作时间也很短，有利于提高人机接口的可操作性和快速反应能力。另外，不同人群眼电的差异性并不大，并且对某一个特定的受试者来说，在不同时刻所产生的眼电EOG信号差异也不大，因此从整体上看EOG信号的特征是相对稳定的，这对于减少训练时间、增强EOG模型的泛化能力都很有帮助。而大部分的瘫痪病人仍然可以保留正常的眼部功能则为基于EOG的人机接口提供了巨大的潜在应用市场。

目前基于EOG的人机接口在性能上仍然存在瓶颈，比如目前基于EOG信号的人机接口生成指令的方式主要是通过识别多种眼部动作，这样可以增加指令数目从而增加控制自由度，但是眼动类型的增多不仅会导致准确率下降，还会增加系统操作的复杂度，加重用户的使用负荷；此外，绝大多数用于助残的轮椅系统和机械臂系统都是独立工作的，而对于一些常见的日常任务，比如从房间里某个位置移动到桌子旁，然后抓取桌上的物体，则需要将轮椅和机械臂集成到同一系统中，并通过高效准确的方式进行控制。相比于单一设备控制任务，将两个设备集成之后所带来的全新的挑战包括：

(i)必须精确地操控轮椅接近并停在被抓取目标附近，使得目标位于机械臂的抓取范围内，这对于轮椅运动精度的要求远高于传统的轮椅移动控制；

(ii)控制集成系统的负荷远高于控制单一系统的负荷，容易引起疲劳，需要采取措施减少任务负荷。

发明内容