[发明专利]基于视觉与意念信号协同控制的机器人看护系统

摘要

本发明提供了一种基于视觉与意念信号协同控制的机器人看护系统，包括：图像处理模块、人脸鼠标控制模块、意念信号处理模块和机械臂控制模块。图像处理模块通过识别人脸与脸部的的关键点实现嘴鼻三维坐标定位；人脸鼠标控制模块通过检测鼻尖的移动控制屏幕上的鼠标选择所需物品；意念信号处理模块实时采集护理对象的脑波信号，提取专注度并判断专注状态；机械臂控制模块实现物品抓取并送至病人嘴巴。本发明能够根据被看护人员的自主意识和需求，实现自主完成食用物品的取送与喂食，能够一定程度上减轻看护人员的工作强度，解放看护人员，解决看护人员紧张的问题。

主权项

1.基于视觉与意念信号协同控制的机器人看护系统，其特征在于，包括：头戴式脑电波采集装置、Kinect相机、显示器、机械手臂、意念信号处理模块、图像处理模块、人脸鼠标控制模块和机械臂控制模块；/n所述意念信号处理模块，用于实时采集看护对象的脑波信号及眨眼肌电信号，提取脑波信号中专注度值，并判断看护人员是否处于专注状态；/n所述图像处理模块，用于实时采集处理RGB图像与深度图像，提取人脸关键点，识别嘴部张合状态，确定嘴部二维坐标和嘴部关键点深度；/n所述人脸鼠标控制模块，对象基于鼻尖移动来控制液晶显示屏上的鼠标指针，实现所需物品的选择，并利用意念信号处理模块检测的眨眼肌电信号判定是否眨眼来物品选定；/n所述机械臂控制模块，基于意念信号处理模块判定的看护人员的专注状态激活机械手臂动作并根据人脸鼠标控制模块的所选定的物品实施抓取动作，根据所述图像处理模块处理得到的嘴部二维坐标和嘴部关键点深度所确定的三维坐标将物品送至看护对象嘴巴。/n