[发明专利]头面部动作检测方法及应用该方法操控计算机的助残系统

权利要求书

1.头面部动作检测方法，其特征在于所述的方法通过如下步骤实现：

步骤1：采集各种头面部动作的图片，包括正例图片和反例图片；

步骤2：采用adaboost算法对正例图片和反例图片进行训练，归纳正例图片中的共同 haar特征，并排除反例图片中所存有的haar特征，得到存有头面部动作特征 的分类器；分类器中用文本记录了所训练的头面部动作的图片中所含有的haar 特征和每个haar特征在头面部动作的图片中的坐标位置；

步骤3：采用多线程方法获取图像并对图像进行预处理和头面部动作检测； 应用多线程方法创建两个线程，即线程A和线程B，对图像进行预处理和头面 部动作检测具体过程如下：

(1)线程B通过摄像头实时捕获图像，并把这个图像交给线程A处理；

(2)当线程A获得一帧图像后，对该帧图像依次进行颜色空间转换、图像积 分、边缘检测处理，得到预处理后的图像；

(3)以不同大小的窗口在图像中移动搜索目标，用窗口所选中的图片特征与分 类器中的特征相比较，由此判断出图像中是否存在希望出现的头面部动作， 如果是就记录下头面部动作在图像中的位置坐标与头面部动作的大小信息， 如果不是就继续移动搜索下一目标；

(4)重复步骤(1)～(3)，线程A继续处理送来的下一帧图像；

步骤4：根据上面步骤3得到的头面部动作的大小与坐标位置信息，连续考察n帧头面 部动作的信息，求出他们的平均位置与大小，以及检测率，其中n为整数，n 取值为200～300；

如果当前头面部动作的位置和大小与平均位置和大小相比较，二者的差值超过 差值阈值，则计算机会出现错误信息提示，此时不进行操作；如果小于或等于 差值阈值，则继续判断检测率；所述的差值阈值取为20～30像素；

如果检测率小于检测率阈值，则无法使用目前的头面部信息来实现操作；如果 检测率大于检测率阈值，则根据识别出的具体的头面部动作信息对计算机进行 操控；所述的检测率阈值取0.6～0.7；所述的头面部动作包括15种相互独立 的头面部动作，分别为：抬头、低头、右偏头、左偏头、左移头、右移头、右 转头、左转头、闭右眼、闭双眼、闭左眼、靠近、张嘴、闭嘴、远离；

步骤5：通过对所得到的具体的头面部动作信息数据进行分析，从而精确分辨出各个头面 部动作：

(1)比较最近的10帧图像眼睛的检测率与眼睛的检测率阈值的大小，检测率小 于眼睛的检测率阈值被判断为闭眼动作，大于眼睛的检测率阈值被判断为睁眼；

(2)两种方法判断张嘴动作：a)嘴的检测率小于嘴的检测率阈值判断为张嘴， b)连续3帧图像在嘴的区域没有检测到嘴判断为张嘴；

(3)嘴部坐标与脸部坐标的差值大于左偏头的检测率阈值判断为左偏头，小于 右偏头的检测率阈值判断为右偏头；

(4)连续识别m帧右侧面脸判断为左转头，连续识别m帧左侧面脸判断为右 转头；

(5)把步骤4所求的头部坐标平均值作为中心位置，当前头部坐标偏离中心位 置的垂直位移小于俯头的检测率阈值判断为俯头，大于仰头的检测率阈值判断为 仰头；

(6)把步骤4所求的头部坐标平均值作为中心位置，当前头部坐标偏离中心位 置的水平位移大于左移的检测率阈值判断为左移头，小于右移的检测率阈值判断 为右移头；

(7)当前脸部的大小与平均脸部的大小之差大于靠近的检测率阈值识别为靠近， 小于远离的检测率阈值识别为远离；

其中，眼睛的检测率阈值为0.2～0.3，嘴的检测率阈值为0.5～0.8，左偏头的检 测率阈值为4～6像素，右偏头的检测率阈值为-6～-4像素，m为正整数，取为5～ 7，俯头的检测率阈值为-5～-3像素，仰头的检测率阈值为3～5像素，左移的检 测率阈值为4～8像素，右移的检测率阈值为-8～-4像素，靠近的检测率阈值为 10～20像素，远离的检测率阈值为-20～-10像素。

2.一种应用权利要求1所述的头面部检测方法进行计算机操控的助残系统，其特征在于： 所述的助残系统包括：摄像头采集图像模块、图像预处理及检测模块、头面部动作数据分 析模块、精确判断模块、动作到计算机命令映射模块，其中动作到计算机命令映射模块包 含有控制鼠标模块、辅助阅览模块、坐姿监控模块、键盘输入模块、颈部操游戏模块、控 制赛车游戏模块、控制家居模块、自定义控制模块；

所述的摄像头采集图像模块是通过摄像头实时捕获一帧图像，然后传给图像预处理及检测 模块；所述的图像预处理及检测模块是用于预处理摄像头采集图像模块所传来的图像，并 在图像上进行头面部动作检测，最终得到头面部动作的坐标位置与大小信息；所述头面部 动作数据分析模块是对图像预处理及检测模块所得到的头面部动作信息进行统计分析得 出头面部动作的平均位置和平均大小及检测率；所述的精确判断模块是用于精确判断并区 分出15种相互独立的头面部动作；所述的动作到计算机命令模块是通过在不同的动作下 调用不同的系统API，把头面部动作映射成各种计算机命令；所述的控制鼠标模块是把俯 仰头、左右移动头动作映射为鼠标的上下左右移动操作，左右转头动作映射为鼠标的左右 键点击，点头映射为鼠标的双击；所述的辅助阅览模块是把俯仰头动作映射为各种电子文 档、网页等的上下翻页；所述的坐姿监控模块是把用户靠近计算机的动作映射为警告提示， 提醒用户离电脑太近；所述的键盘输入模块是把俯仰头、左右转头和张嘴映射为不同的键 盘按键，实现用户的快速输入；所述的颈部操游戏模块是把俯仰头、左右转头映射为不同 的游戏控制命的游戏应用；所述的控制赛车游戏模块是把左右移动头部映射为赛车的左右 转弯命令，俯仰头映射为加减速命令的游戏应用；所述的家居控制模块是通过与网络家具 控制系统结合把头面部动作映射为各种家具的控制命令，实现电视机、空调、窗帘、灯 的控制；所述的自定义控制模块是用于用户自己定义头面部动作与各种操作的映射；

所述的15种相互独立的头面部动作分别为：抬头、低头、右偏头、左偏头、左移头、右移 头、右转头、左转头、闭右眼、闭双眼、闭左眼、靠近、张嘴、闭嘴、远离。