[发明专利]一种基于唇部状态识别的智能轮椅人机交互系统及方法

说明书

技术领域

本发明属于人工智能和计算机视觉领域，具体涉及智能轮椅的人机交互系统及方法。

背景技术

目前，全球的老年人口数量越来越多，这个问题引起了社会各界的广泛重视；与此同时由于各种灾难、车祸以及疾病等相关因素造成的残障人士数量也在增加。他们的行动能力、反应速度、思考能力会低于正常人。因此，为老年人和残疾人提供性能优越的代步工具已成为整个社会重点关注的问题之一。智能轮椅是融合多种研究领域，将机器人技术应用于电动轮椅的一种设备，能够感知外部环境并对环境信息进行处理从而得到合理的控制决策。使老年人和残疾人的日常生活质量在很大程度上得到提高，将用户迅速、无误地送到目的地。智能轮椅的关键技术之一就是实现与使用者和谐交互的技术，这种交互包括两方面的要素：一方面使人能更自然地控制轮椅，另一方面使轮椅可以较好的理解人的思维和命令。由于不同残障人群的身体情况和认知能力不同，轮椅系统的设计需要充分的考虑这些因素，不仅不能使用户的使用困难加大，而且要充分利用残障人士的自身的机能。目前，国内外有很多的学者在开发了很多智能轮椅人机交互的系统，主要分为侵入式和非侵入式两类。侵入式的人机交互方式包括使用眼镜，头带，或者佩戴红外或超声波发射器来测量用户意图。而非侵入式的方法不需要用户佩戴任何设备，而是通过处理用户的声音或图像来识别用户的意图。事实上，大多数的用户更喜欢非侵入式的方法，因为他们不喜欢他们的脸或头被接触。

基于视觉的智能轮椅人机交互是一个十分有效的交互方式。目前，国内外很多研究者对基于视觉的人机交互进行了研究：韩国的Jin Sun Ju，YunHee Shin等人利用Adaboost算法定位人脸位置，采用基于纹理分类的神经网络算法识别人脸倾斜度，同时利用K-means算法识别嘴巴的张合状态，然后通过人脸的倾斜控制轮椅的左转和右转，唇部张开控制轮椅的前进，闭合控制轮椅的停止，从而实现对智能轮椅的运动控制；澳大利亚大学和富豪汽车公司开发了一种新的驾驶员疲劳检测跟踪系统。该系统通过测量和跟踪驾驶员的头部姿势，眼睛的注意力方向、闭合状态以及眨眼动作来估计驾驶员的疲劳程度；英国Essex大学的胡豁生、贾沛等训练主动形态模型(AAM)识别人脸，通过识别当前人脸，然后跟模板进行比较来估计人脸方向，从而控制智能轮椅的运动；日本的Yoshio Matsumotot,Alexander Zelinskyt等人在机器人上装有摄像头，通过摄像头采集人脸图像，当人的头部移动时，通过识别头部在某个方向停留的时间长短来判断他对该物体的关注程度，并通过这个时间的长短来判断人凝视与否，进而控制机器人的运动；国立澳大利亚大学的Alex Zelinsky教授在Monash大学智能机器人中心RayJivis教授在智能轮椅系统中引入眼睛跟踪仪，通过探测用户面部角度和瞳孔方向来控制轮椅，使其可以沿着用户目视的方向运动。但是当用户头部或脸部的运动被广泛的使用来表达用户的意图，应用到人机交互系统中时系统往往存在某种缺陷：当人期望向某个方向运动时，头部会自然的朝那个方向看。轮椅的转动源于头部运动的方向。但是当某个障碍物在靠近用户的时候，用户会看向障碍物，这时轮椅仍会向障碍物运动。而实际上，此时用户需要快速的避开障碍物，这时候轮椅就会产生错误指令。考虑到头部无意识偏转和外界环境干扰的影响，在利用头部或脸部偏转控制轮椅运动方向的基础上，设定识别唇部的张合状态功能，提高系统鲁棒性。

发明内容

针对以上现有技术中的不足，本发明的目的在于提供一种缩小了分类器的遍历范围，降低误检率的同时提高了检测速度的基于唇部状态识别的智能轮椅人机交互系统及方法，本发明的技术方案如下：

一种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能轮椅本体及无线网卡，其还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张合状态分类器；

所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型；

所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域；

所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测；

所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合状态；

所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并确定轮椅的运动指令；